新版摩爾定律也要靠算力 英偉達(dá)稱AI訓(xùn)練速度可再提高1萬倍

ChatGPT之父、OpenAI公司CEO奧特曼（Sam Altman）周日在一條Twitter上寫道：“新版摩爾定律很快就要來了，宇宙中的智能數(shù)量每18個月就會翻一倍?！?/p>本文引用地址：http://butianyuan.cn/article/202302/443814.htm

摩爾定律是英特爾聯(lián)合創(chuàng)始人摩爾對半導(dǎo)體行業(yè)的預(yù)測，指芯片中的晶體管數(shù)量大約每兩年翻一番，同時價格降一半。幾年前，芯片巨頭英偉達(dá)創(chuàng)始人CEO黃仁勛就曾表示：“摩爾定律已死。”

奧特曼的最新言論很快在社交媒體上發(fā)酵，但他沒有具體解釋所謂的“智能”（intelligence）到底是指什么，這也引發(fā)了業(yè)內(nèi)的熱烈討論。

宇宙智能數(shù)量18個月翻番指什么？

“當(dāng)（人腦之外的）另一個結(jié)構(gòu)可以突破（神經(jīng)元）總量限制時，智能的確會不斷爆炸。”獵豹移動董事長傅盛在微信朋友圈中寫道。他向第一財經(jīng)記者解釋稱：“這里的智能應(yīng)該指神經(jīng)元參數(shù)?！?/p>

瀾舟科技創(chuàng)始人CEO周明對第一財經(jīng)記者表示，雖然神經(jīng)元參數(shù)確實是可以數(shù)值化衡量的指標(biāo)，但是過去幾年里，神經(jīng)元參數(shù)似乎并沒有18個月就實現(xiàn)翻番。

“我認(rèn)為Altman說的意思比較含糊，我個人的理解是，世界上的人工智能能力每18個月翻一倍，但怎么才算翻一倍，是增加新的能力的個數(shù)，還是已有能力的翻倍提升，他沒有明確說明?！敝苊鲗Φ谝回斀?jīng)記者表示。

第一財經(jīng)記者就如何理解“智能”翻番向ChatGPT提問。首先問：“宇宙中智能數(shù)量每18個月翻一倍，這里的智能是指什么？”ChatGPT回答道：“聲稱宇宙中的智能數(shù)量每18個月翻番是沒有科學(xué)依據(jù)的，因為智能不是一個可以用這種方式測量或量化的物理量，通常認(rèn)為它是一個具有復(fù)雜特性的東西，不能簡化為單個指標(biāo)或者數(shù)值?！?/p>

當(dāng)?shù)谝回斀?jīng)記者在提問中加入ChatGPT創(chuàng)始人奧特曼的名字，再問：“奧特曼所說的新版摩爾定律是指什么？”ChatGPT回答稱：“新摩爾定律指的是奧特曼在2018年做出的關(guān)于人工智能快速發(fā)展及其能力呈指數(shù)級增長的預(yù)測。奧特曼表示，人工智能發(fā)展的速度目前正在超過摩爾定律?！?/p>

從ChatGPT的回答中可以看出，這一預(yù)測是奧特曼早在2018年就曾作出的，但當(dāng)時OpenAI的能力遠(yuǎn)不如今天，這一表態(tài)自然也未受到關(guān)注。

如今，奧特曼重新將他的“新版摩爾定律”拋出，背后是深度學(xué)習(xí)和AI的崛起。但不管ChatGPT如何強(qiáng)大，背后也離不開算力的支撐。

隨著人類對于算力的要求越來越高，要滿足新的高性能運(yùn)算需求，芯片就需要不斷迭代，成本也會隨之增加。目前支撐包括ChatGPT大模型在內(nèi)的95%用于機(jī)器學(xué)習(xí)的芯片都是英偉達(dá)的A100，該芯片的單價超過1萬美元。

在上周英偉達(dá)的財報會議上，黃仁勛稱，英偉達(dá)的GPU在過去的十年里將AI的處理性能提高了100萬倍。英偉達(dá)現(xiàn)在希望將AI的訓(xùn)練速度提高至少1萬倍。

研究機(jī)構(gòu)Gartner分析師盛陵海對第一財經(jīng)記者表示：“過去十年是AI發(fā)展從0到100的階段，但是要從100到10000，是完全不同的場景。過去十年芯片的發(fā)展還遵循摩爾定律，但隨著摩爾定律接近極限，未來計算機(jī)的能力要進(jìn)一步提升越來越困難，除非量子計算能有大的突破?！?/p>

誰能顛覆人工智能“主力”A100？

根據(jù)研究機(jī)構(gòu)New Street Research發(fā)布的一份報告，英偉達(dá)的A100目前已成為人工智能領(lǐng)域的“主力”，占據(jù)了用于機(jī)器學(xué)習(xí)的圖形處理器市場95%的份額。

訓(xùn)練大型語言模型需要大量GPU，這些GPU還能進(jìn)行“推理”。擁有熱門AI產(chǎn)品的公司通常需要購買更多GPU來處理峰值期間的數(shù)據(jù)或用于模型的改進(jìn)。例如，人工智能公司Stability AI公司過去一年購買的A100芯片數(shù)量增加到目前的5400個。Stability AI的軟件用于圖像生成器Stable Diffusion，使用256個A100芯片訓(xùn)練模型，訓(xùn)練總時長達(dá)20萬個小時。

除了單個的A100芯片之外，英偉達(dá)還出售一個包含8個A100的服務(wù)器系統(tǒng)DGX，售價接近20萬美元。根據(jù)機(jī)構(gòu)測算，微軟基于ChatGPT的人工智能搜索必應(yīng)（Bing AI）需要超過2萬臺DGX服務(wù)器系統(tǒng)，才能使Bing的模型支持每個人的搜索，這表明該功能可能需要微軟投資40億美元的基礎(chǔ)設(shè)施支出。

而谷歌每天進(jìn)行近百億次的搜索服務(wù)需要的服務(wù)器能力更大。根據(jù)New Street Research的技術(shù)分析師Antoine Chkaiban的預(yù)測，谷歌要滿足所有人的搜索，需要在DGX上花費(fèi)800億美元。“這說明每個使用如此龐大的語言模型的用戶都需要一臺大型超級計算機(jī)?！盋hkaiban在報告中寫道。

但目前僅有大公司才有實力進(jìn)行如此巨大的投資。為了讓更多小公司能夠使用英偉達(dá)AI的能力，英偉達(dá)正在拓展一種全新商業(yè)模式。黃仁勛在上周的財報電話會議中表示，未來將直接出售對DGX系統(tǒng)的云訪問，從而降低小公司研究人員使用AI能力的入門成本。

在黃仁勛看來，英偉達(dá)提供的價值是將原來需要投入10億美元運(yùn)行CPU的數(shù)據(jù)中心縮減為僅用1億美元就能搞定的數(shù)據(jù)中心，現(xiàn)在將該數(shù)據(jù)中心放在云端共享，意味著可以由100家公司來分擔(dān)這一成本，因此每家公司支付的實際上是非常少的費(fèi)用?！艾F(xiàn)在企業(yè)可以花一兩千萬來構(gòu)建一個類似GPT的大型語言模型，這是可以支付得起的?！秉S仁勛表示。

盡管英偉達(dá)并不是唯一一家生產(chǎn)用于人工智能GPU的公司，但根據(jù)研究機(jī)構(gòu)State of AI的報告，截至去年12月，超過2萬篇開源AI論文中都使用了英偉達(dá)的AI芯片，其中A100在2022年的使用量迅速增長，成為英偉達(dá)被使用第三多的芯片，僅次于其售價1500美元的游戲芯片。

目前能與A100的使用量競爭的仍然是英偉達(dá)去年量產(chǎn)的下一代人工智能芯片H100。這款芯片的售價更高，并且在截至今年1月的財季中，H100芯片的收入已經(jīng)超過了A100。英偉達(dá)表示，H100是該公司推出的首款針對transformer架構(gòu)進(jìn)行優(yōu)化的數(shù)據(jù)中心GPU，transformer正在越來越多地用于新的頂級人工智能應(yīng)用程序，重要性日益凸顯。

“H100采用了5納米的制程，相比于A100的7納米制程而言，H100的性能應(yīng)該是顯著優(yōu)于A100的?！笔⒘旰Φ谝回斀?jīng)記者表示。