OpenAI CEO Sam Altman：巨型 AI 模型時(shí)代即將終結(jié)！

「巨型 AI 模型時(shí)代即將終結(jié)」，當(dāng)這句話最新出自 OpenAI CEO Sam Altman 之口時(shí)，業(yè)界嘩然。

畢竟在過去一段時(shí)間中，因?yàn)?GPT-4 以及 ChatGPT 會(huì)話式 AI 的到來，引發(fā) AIGC、大模型的狂歡潮，眾人有目共睹。這也引得多家科技大廠、創(chuàng)業(yè)公司紛紛入局 AI 賽道，推出各種大模型應(yīng)用與產(chǎn)品。

現(xiàn)如今，在上周 MIT 視頻發(fā)言中，Sam Altman 警告稱：誕生 ChatGPT 的研究策略已經(jīng)結(jié)束。目前尚不清楚未來會(huì)在哪些方面出現(xiàn)進(jìn)展。

這番言論的背后究竟意味著什么？

Sam Altman：我們正處于巨型模型時(shí)代的盡頭

近年來，OpenAI 通過采用現(xiàn)有的機(jī)器學(xué)習(xí)算法并將其擴(kuò)大到以前無法想象的規(guī)模，在與語言相關(guān)的人工智能方面取得了一系列令人印象深刻的進(jìn)展。

今年最新推出的 GPT-4 可以視為是 OpenAI 乃至全行業(yè)中最為先進(jìn)的模型之一，據(jù) Wired 報(bào)道，GPT-4 可能是使用數(shù)萬億個(gè)文本單詞和數(shù)千個(gè)強(qiáng)大的計(jì)算機(jī)芯片訓(xùn)練而成，這一過程耗資超過 1 億美元。

在這一點(diǎn)上，微軟此前在官方博客上也曾分享過內(nèi)幕：

微軟將上萬顆英偉達(dá) A100 芯片連接到一起，并重新設(shè)計(jì)了服務(wù)架構(gòu)，這使得 OpenAI 能夠訓(xùn)練出越來越強(qiáng)大的 AI 模型，同時(shí)，也幫助自家解鎖了 Bing、Edge 等工具的 AI 功能。這個(gè)項(xiàng)目已經(jīng)花費(fèi)微軟數(shù)億美元。

不過，當(dāng)下 Sam Altman 表示，AI 技術(shù)進(jìn)一步的進(jìn)展將不會(huì)來自于將模型做大。"我認(rèn)為我們正處于巨型模型時(shí)代的盡頭，最終我們將以其他方式使它們變得更好。"

事實(shí)上，自從 OpenAI 在 11 月推出 ChatGPT 以來，微軟已經(jīng)使用底層技術(shù)為其必應(yīng)搜索引擎添加了一個(gè)聊天機(jī)器人，Google 也推出了一個(gè)名為 Bard 的大模型，以及百度推出了「文心一言」、阿里內(nèi)測了「通義千問」等等。

與此同時(shí)，包括 Anthropic、AI21、Cohere 和 Character.AI 在內(nèi)的眾多資金雄厚的初創(chuàng)公司，正在投入巨大的資源來構(gòu)建越來越大的算法，希望努力追趕上 OpenAI 的技術(shù)。

Sam Altman 的最新聲明表明，GPT-4 可能是 OpenAI 將模型做大并向其提供更多數(shù)據(jù)的戰(zhàn)略中出現(xiàn)的最后一個(gè)重大進(jìn)展。

在最新分享中，他也并沒有說什么樣的研究策略或技術(shù)可能取代它。不過，在此前 GPT-4 技術(shù)細(xì)節(jié)的論文中，OpenAI 研究團(tuán)隊(duì)倒是說過，根據(jù)預(yù)估，擴(kuò)大模型規(guī)模的回報(bào)將會(huì)越來越少。Sam Altman 也曾表示，OpenAI 能夠建造多少個(gè)數(shù)據(jù)中心以及建造這些中心的速度也有物理限制。

擴(kuò)大模型的規(guī)模并不能永遠(yuǎn)奏效

其實(shí)回看 GPT 系列模型，參數(shù)真的是一個(gè)比一個(gè)大：

• 2019 年發(fā)布的 GPT-2，有 15 億參數(shù)；

• 2020 年發(fā)布的 GPT-3，有高達(dá) 1750 億個(gè)參數(shù)；

• GPT-3.5 模型的參數(shù)量為 2000 億；

• 在考慮到競爭格局和大型模型的安全影響之際，OpenAI 宣布不再對(duì)外公開最新的 GPT-4 模型參數(shù)，不過，通過上文提及到的訓(xùn)練 GPT-4 花費(fèi)超過 1 億美元的金額，也不難猜測出其規(guī)模之龐大了。

不過，模型并非參數(shù)越大越好，也并非一味地關(guān)注模型參數(shù)就是一件好事。對(duì)于這樣的觀點(diǎn)，其實(shí)也有不少專家持以贊同的態(tài)度。

據(jù) Wired 報(bào)道，曾在谷歌從事人工智能工作的 Cohere 公司聯(lián)合創(chuàng)始人 Nick Frosst 表示，Altman 的擴(kuò)大規(guī)模并不能永遠(yuǎn)奏效的觀點(diǎn)聽起來是對(duì)的。他也認(rèn)為，Transformer（GPT-4 及其競爭對(duì)手的核心機(jī)器學(xué)習(xí)模型類型）的進(jìn)展超出了擴(kuò)展范圍。在 Nick Frosst 看來，「有很多方法可以讓 Transformer 變得更好、更有用，而且很多方法不涉及向模型添加參數(shù)。新的人工智能模型設(shè)計(jì)或架構(gòu)，以及基于人類反饋的進(jìn)一步微調(diào)，是許多研究人員已經(jīng)在探索的有希望的方向。」

其實(shí)，針對(duì)模型參數(shù)規(guī)模，此前百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏在接受 CSDN 采訪時(shí)也說過，千億量級(jí)是一個(gè)門檻，然而一直討論大模型參數(shù)規(guī)模意義不大：

僅僅三年前，我們所說的大模型是參數(shù)億量級(jí)的大模型，今天當(dāng)我們說大模型的時(shí)候，大家大多數(shù)理解參數(shù)是千億量級(jí)的大模型，這種進(jìn)化和技術(shù)迭代的速度其實(shí)超過了像摩爾定律這樣大家熟悉的演化速度，這還是很神奇的。

百度通用大模型肯定是千億量級(jí)的。因?yàn)檫@是一個(gè)門檻，如果不過千億是不會(huì)出現(xiàn)智能涌現(xiàn)，這是過去實(shí)驗(yàn)都證明過的。但是具體是多少參數(shù)，公布意義不大，過了千億之后，不是萬億量級(jí)參數(shù)一定比千億效果要好。GPT-4 出來之前，我看好多媒體猜測是萬億量級(jí)參數(shù)，十萬億量級(jí)，方向就錯(cuò)了。大模型不是靠提升參數(shù)規(guī)模，是在其他方面進(jìn)行提升，不用太糾結(jié)。

賈揚(yáng)清早期在接受 CSDN 采訪時(shí)，也曾表示：

以 2012 年參加 ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽中大獲成功的卷積神經(jīng)網(wǎng)絡(luò) AlexNet 為例，該模型的總參數(shù)數(shù)量為 6000 萬。它的崛起讓不少 AI 從業(yè)人員產(chǎn)生一個(gè)比較簡單的想法，即模型越大越深或模型參數(shù)越多，效果就越好。

但是到了 2014 年，基于 Inception 模塊的深度神經(jīng)網(wǎng)絡(luò)模型 GoogLeNet 在具備 600 萬模型參數(shù)基礎(chǔ)上也能達(dá)到同樣甚至更好的效果。因此，在超大模型領(lǐng)域，很多人為了追求推廣效果，營造出參數(shù)規(guī)模越大模擬效果越好的現(xiàn)象。隨著時(shí)間推移，當(dāng)用戶對(duì)模型規(guī)模審美疲勞之后，會(huì)發(fā)現(xiàn)模型的結(jié)構(gòu)以及模型的可解釋性等細(xì)節(jié)問題變得更加重要。

不過，這一現(xiàn)象也是科研領(lǐng)域技術(shù)迭代很典型的發(fā)展過程，即爆火的技術(shù)吸引無數(shù)人蜂擁而至，而當(dāng)大家發(fā)現(xiàn)此方向過于片面之后又會(huì)重回原來的位置。

或也是深諳此理，Altman 在上周也回應(yīng)稱，OpenAI 目前沒有，而且在一段時(shí)間內(nèi)也不會(huì)有開發(fā) GPT-5 的計(jì)劃。最后，對(duì)于追求參數(shù)量的大模型即將接近尾聲，你怎么看？

參考鏈接：

https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/