OpenAI CEO：巨型AI模型時代已結(jié)束，馬斯克TruthGPT曝光

至于原因，一方面是大模型需要跳出擴展參數(shù)規(guī)模的范疇，另一方面受限于高昂的訓(xùn)練成本。

近幾個月來，OpenAI ChatGPT 的強大生成式對話能力引發(fā)了人們對 AI 的新興趣和投資。隨著國內(nèi)外掀起類 ChatGPT 研發(fā)熱潮，對話式 AI 及背后的大模型被更多人看好。
但上周在 MIT 的視頻發(fā)言中，OpenAI CEO Sam Altman 發(fā)表了另一番言論。他警告稱，誕生 ChatGPT 的研究策略已經(jīng)結(jié)束。至于未來會在哪些方面出現(xiàn)進展尚不清楚。

過去幾年，OpenAI 通過采用現(xiàn)有機器學習算法并將它們擴展到以往無法想象的規(guī)模，在與語言相關(guān)的人工智能領(lǐng)域取得了一系列引人矚目的進展。其中作為最新的進展，GPT-4 可能使用數(shù)萬億文本單詞和數(shù)千個強大的計算機芯片訓(xùn)練。
GPT-4 在語言、數(shù)學、編程、視覺、醫(yī)學、法律和心理學等多種任務(wù)上都有出色的表現(xiàn)。Sam Altman 卻對此表示，讓模型變得更大（比如巨型模型）將不會進一步帶來新進展。

Sam Altman 的這番言論表明，在開發(fā)和部署新 AI 算法的競賽中出現(xiàn)了一個意想不到的轉(zhuǎn)折。自去年 11 月 ChatGPT 推出以來，微軟利用底層技術(shù)在必應(yīng)搜索中添加了基于它的聊天機器人，谷歌也推出 Bard 競品。很多人急著嘗試使用新型聊天機器人幫助完成工作或個人任務(wù)。
與此同時，包括 Anthropic、AI21、Cohere 和 Character.AI 在內(nèi)眾多資金雄厚的初創(chuàng)公司都投入大量資源構(gòu)建規(guī)模更大的算法，以努力追趕 OpenAI。
不過，Sam Altman 的話似乎預(yù)示著，GPT-4 可能是 OpenAI 研發(fā)更大模型并喂給它們更多數(shù)據(jù)這一戰(zhàn)略的最后一個重大進展。這也可以從他親自辟謠 GPT-5 的相關(guān)傳聞中看出一些端倪，他表示目前沒有訓(xùn)練 GPT-5，短期內(nèi)也不會訓(xùn)練。
在描述 GPT-4 的論文中，OpenAI 預(yù)估擴展模型規(guī)模的收益將出現(xiàn)遞減。OpenAI 建造數(shù)據(jù)中心的數(shù)量以及建造速度也存在物理限制。
除了大模型設(shè)計和架構(gòu)本身的原因，巨額花費也是一大原因。據(jù)報道，ChatGPT 需要至少 10000 個 GPU 進行訓(xùn)練，還需要更多資源保證持續(xù)運行。而英偉達專為 AI 和高性能計算設(shè)計的最新 H100 GPU 單價高達 30,603 美元，無疑成本高昂。Altman 親自承認，GPT-4 的訓(xùn)練花費超過了 1 億美元。
Cohere 的聯(lián)合創(chuàng)始人（曾在谷歌從事 AI 工作）Nick Frosst 表示，Altman 的擴大規(guī)模并不能永遠奏效的觀點聽起來是對的。他也認為，Transformer（GPT-4 及競品的核心機器學習模型類型）的進展已經(jīng)超出了擴展范疇。除了向模型添加更多參數(shù)之外，還有很多其他方法可以使 Transformer 變得更好、更有用。
新的 AI 模型設(shè)計或架構(gòu)以及基于人類反饋的進一步微調(diào)成為很多研究人員已經(jīng)在探索的有前景的方向。
馬斯克將 AI 項目命名為 TruthGPT
馬斯克這邊，雖然嘴上說擔憂 GPT-4 引發(fā)社會問題，并簽署暫停開發(fā)比 GPT-4 更強大的系統(tǒng)至少六個月。但實際情況卻是馬斯克正致力于新建一家人工智能初創(chuàng)公司 X.AI，與 OpenAI 直接展開競爭。
據(jù)報道，馬斯克已經(jīng)從英偉達獲取了上萬塊 GPU，這些系統(tǒng)為人工智能和高端圖形處理等密集型任務(wù)所需的計算提供動力。

馬斯克證實了有關(guān)他計劃創(chuàng)建一家人工智能初創(chuàng)公司，與 ChatGPT 競爭的報道。馬斯克在接受?？怂共稍L時宣布了這項計劃，并表示，「我將創(chuàng)建一種稱為 TruthGPT 的人工智能平臺，或者說是一個最大限度地尋求真理的人工智能，可以理解宇宙的本質(zhì)。我認為這可能是通往（AI）安全的最佳途徑，從某種意義上說，一個關(guān)心理解宇宙的人工智能不太可能滅絕人類，因為我們是宇宙中有趣的一部分?！?/span>
馬斯克在采訪中還表示，他相信人工智能具有毀滅文明的潛力，無論（其力量）多么小。
此前，馬斯克于 2015 年與 OpenAI 現(xiàn)任 CEO Sam Altman 等人共同創(chuàng)立了 OpenAI，但馬斯克于 2018 年離開了公司董事會。據(jù)了解，馬斯克當時聲明的原因是為了避免與特斯拉發(fā)生潛在的利益沖突，但后來馬斯克表示還有其他原因，另一個原因是他不同意 OpenAI 團隊在做的一些事情。
另外據(jù) Semafor  3 月份報道，馬斯克曾試圖在 2018 年接任公司 CEO 一職，但在 Altman 和其他人拒絕后便離開了。
自從退出 OpenAI 董事會以來，馬斯克一再批評 OpenAI。就在今年 2 月，他還表示現(xiàn)在的 OpenAI 根本不是他所希望的，并稱 OpenAI 為微軟控制的、閉源、利潤最大化的公司」。
面多馬斯克的多次攻擊，Altman 表示即便如此，自己仍將馬斯克視為自己的偶像之一，并表示，「我相信馬斯克確實對 AGI 安全感到壓力，這是可以理解的?！?/span>
值得一提的是這不是馬斯克第一次考慮打造 TruthGPT。他在 2 月曾經(jīng)發(fā)推說，我們需要的是 TruthGPT。

關(guān)于 TruthGPT 的更多細節(jié)，馬斯克沒有透漏更多消息，我們可以后續(xù)期待一波。
參考鏈接：https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/https://venturebeat.com/ai/openai-chief-says-age-of-giant-ai-models-is-ending-a-gpu-crisis-could-be-one-reason-why/