01
人工智能大模型更近了
chatgpt3 發(fā)布，chatgpt4升級(jí)，文心一言開(kāi)放測(cè)試，office套件copilot發(fā)布。 隨手就可獲得顛覆性的個(gè)人助理，不用再花心思調(diào)戲Siri了。
生成式的模型面前，代碼，圖像，視頻，小說(shuō)，作文，各種文案，腦力打工人集體失色了。這些場(chǎng)景出現(xiàn)在了我幻想的未來(lái)里。
人工智能大模型chatgpt確實(shí)好用，掀起了新一輪人工智能的競(jìng)賽浪潮。
但是回歸到商業(yè)的本質(zhì)，誰(shuí)才能堅(jiān)持到最后，怎么樣才更有可能堅(jiān)持到最后呢？
02
大模型訓(xùn)練的算力成本分析
人工智能三要素，算力，算法和數(shù)據(jù)。
算力是基礎(chǔ)設(shè)施。大模型的成本主要可以拆分成訓(xùn)練和推理兩個(gè)階段的算力成本。訓(xùn)練是周期性投入，推理則是長(zhǎng)期的投入。
根據(jù)行業(yè)調(diào)研信息，AI訓(xùn)練的算力增長(zhǎng)符合摩爾定律，大約每20個(gè)月翻一番；深度學(xué)習(xí)的出現(xiàn)加速了性能的擴(kuò)展，用于AI訓(xùn)練的算力大約每6個(gè)月翻一番；而目前大規(guī)模模型出現(xiàn)，其訓(xùn)練算力是原來(lái)的10到100倍。
在大模型訓(xùn)練時(shí)，微軟專(zhuān)門(mén)打造的超級(jí)計(jì)算裝置，使用了1萬(wàn)張A100 GPU卡，耗時(shí)一個(gè)月，才完成1700多億參數(shù)的chatgpt3的訓(xùn)練。訓(xùn)練成本約500萬(wàn)美元/次。
模型部署服務(wù)用戶(hù)，進(jìn)入推理階段：對(duì)用戶(hù)的文字等信息輸入，進(jìn)行處理，反饋結(jié)果給用戶(hù)。根據(jù)模型的參數(shù)規(guī)模以及優(yōu)化情況，后臺(tái)可能需要1張或多張GPU卡，服務(wù)一個(gè)或多個(gè)用戶(hù)。
不同的并發(fā)用戶(hù)數(shù)，這個(gè)階段的花費(fèi)彈性巨大，難以預(yù)估。據(jù)統(tǒng)計(jì)，ChatGPT每日推理成本在28萬(wàn)美元左右。
企業(yè)通常都求助于云計(jì)算服務(wù)商。現(xiàn)狀是，國(guó)內(nèi)沒(méi)有一家云計(jì)算公司可以在一個(gè)機(jī)房里提供1萬(wàn)張A100的算力。個(gè)人和小企業(yè)的投資在AI大模型的時(shí)代就更加捉襟見(jiàn)肘了。
由于人類(lèi)對(duì)智能的研究還未有可靠的理論依據(jù)，于是導(dǎo)致人工智能的不可解釋性，缺乏通用性和可移植性。chatgpt這種大力出奇跡的工程，可能造成巨大的浪費(fèi)，也可能造成霸權(quán)和壟斷。
幾年前人工智能開(kāi)始盛行的時(shí)候，李開(kāi)復(fù)先生在《AI ? 未來(lái)》的書(shū)中描述，通用的AI能力，將是像發(fā)電廠(chǎng)一樣的公共基礎(chǔ)設(shè)施，專(zhuān)用的AI能力則是電池的形態(tài)。我非常認(rèn)同這個(gè)觀(guān)點(diǎn)，這是人工智能走向普惠，避免霸權(quán)的可靠的路徑。
03
如何建設(shè)大模型時(shí)代的人工智能算力基礎(chǔ)設(shè)施
充足的電力供應(yīng)是前提，集中式，大規(guī)模，是降低成本提高使用效率的必由之路。
1萬(wàn)張A100卡了，部署成本如何。我們粗略計(jì)算下每小時(shí)的電能消耗。
假設(shè)選用的服務(wù)器配置如下：
? 每臺(tái)兩顆CPU，單顆CPU功耗150瓦
? 搭載8張SXM封裝的A100卡，單顆GPU 功耗400瓦，
整機(jī)3.5千瓦；總共需要1250臺(tái)服務(wù)器，總功耗，4.375兆瓦。
部署在傳統(tǒng)風(fēng)冷數(shù)據(jù)中心，PUE 按1.5計(jì)算，則需要4.375*1.5 = 6.562兆瓦。
6兆瓦可以滿(mǎn)足約6000個(gè)家庭的用電需求。一次千億參數(shù)級(jí)別的大模型訓(xùn)練，需要運(yùn)行大約一個(gè)月的時(shí)間。近年來(lái)，數(shù)據(jù)中心耗電量占全社會(huì)用電量同比提升了180%，預(yù)計(jì)到2030年將上升到8%。未來(lái)，在熱點(diǎn)城市，用電的矛盾將愈加凸顯。
東數(shù)西算，是國(guó)家推行的深具歷史感和使命感的政策。西部擁有充足的電力，和廣闊的土地資源，適合建立大規(guī)模智能算力資源池?cái)?shù)據(jù)中心，用于各種大模型的訓(xùn)練。
在推理應(yīng)用階段，需要貼近用戶(hù)部署，推理算力資源池?cái)?shù)據(jù)中心應(yīng)當(dāng)部署在東部區(qū)域，靠近用戶(hù)的地方。于是“算地矛盾”發(fā)生了。拋開(kāi)數(shù)據(jù)中心基礎(chǔ)設(shè)施帶來(lái)的數(shù)字經(jīng)濟(jì)GDP收益，地方政府通常不歡迎數(shù)據(jù)中心產(chǎn)業(yè)，根源是耗能大、占地廣、經(jīng)濟(jì)收益不顯。
近年國(guó)家大力發(fā)展海上風(fēng)電，截止2022年，裝機(jī)容量達(dá)3250萬(wàn)千瓦！
在廣袤的風(fēng)電場(chǎng)內(nèi)部署海底數(shù)據(jù)中心，就近消耗風(fēng)場(chǎng)電力，高效“瓦特?fù)Q比特”在幾乎不占用城市城市土地資源的情況下，提供可靠的算力資源！這是一個(gè)充滿(mǎn)想象力的工程！
過(guò)去幾年，數(shù)字貨幣，區(qū)塊鏈，元宇宙，人工智能等一波波技術(shù)浪潮，底層的依賴(lài)本質(zhì)都是算力；大浪淘沙，也始終沒(méi)能出現(xiàn)能普惠大眾的應(yīng)用，終究是空中樓閣，唯一的欣慰是，算力終于被卷出了新的高度。chatgpt的出現(xiàn)，是算力的大力出奇跡，也是算力積淀后必然的結(jié)果。
相信在不遠(yuǎn)的未來(lái)，人們的眼光會(huì)投向算力霸權(quán)或者智能霸權(quán)，創(chuàng)造真正的算力普惠的智能社會(huì)。