3.6萬億token、3400億參數(shù)，谷歌大模型PaLM 2細節(jié)遭曝光

谷歌內(nèi)部文件又泄露了，這次是谷歌新一代大模型 PaLM 2 的訓練細節(jié)：訓練數(shù)據(jù)量是前代的近 5 倍、參數(shù)量是前代的三分之二左右。

轉(zhuǎn)自《機器之心》

上周四，在 2023 谷歌 I/O 大會上，谷歌 CEO 皮查伊宣布推出對標 GPT-4 的大模型 PaLM 2，并正式發(fā)布預覽版本，改進了數(shù)學、代碼、推理、多語言翻譯和自然語言生成能力。PaLM 2 模型提供了不同尺寸規(guī)模的四個版本，從小到大依次為 Gecko、Otter、Bison 和 Unicorn，更易于針對各種用例進行部署。其中輕量級的 Gecko 模型可以在移動設備上運行，速度非?？?，不聯(lián)網(wǎng)也能在設備上運行出色的交互式應用程序。不過會上，谷歌并沒有給出有關(guān) PaLM 2 的具體技術(shù)細節(jié)，只說明了它是構(gòu)建在谷歌最新 JAX 和 TPU v4 之上。昨日，據(jù)外媒 CNBC 看到的內(nèi)部文件稱，PaLM 2 是在 3.6 萬億個 token 上訓練。作為對比，上代 PaLM 接受了 7800 億 token 的訓練。此外，谷歌之前表示 PaLM 2 比以前的 LLM 規(guī)模更小，這意味著在完成更復雜任務的同時變得更加高效。這一點也在內(nèi)部文件中得到了驗證，PaLM 2 的訓練參數(shù)量為 3400 億，遠小于 PaLM 的 5400 億。PaLM 2 的訓練 token 和參數(shù)量與其他家的 LLM 相比如何呢？作為對比，Meta 在 2 月發(fā)布的 LLaMA 接受了 1.4 萬億 token 的訓練。OpenAI 1750 億參數(shù)的 GPT-3 是在 3000 億 token 上訓練的。雖然谷歌一直渴望展示其 AI 技術(shù)的強大能力以及如何嵌入到搜索、電子郵件、文件處理和電子表格中，但也不愿公布其訓練數(shù)據(jù)的大小或其他細節(jié)。其實這樣做的不只谷歌一家，OpenAI 也緘口不言其最新多模態(tài)大模型 GPT-4 的細節(jié)。他們都表示不披露細節(jié)是源于業(yè)務的競爭屬性。不過，隨著 AI 軍備競賽的持續(xù)升溫，研究界越來越要求提高透明度。并且在前段時間泄露的一份谷歌內(nèi)部文件中，谷歌內(nèi)部研究人員表達了這樣一種觀點：雖然表面看起來 OpenAI 和谷歌在 AI 大模型上你追我趕，但真正的贏家未必會從這兩家中產(chǎn)生，因為第三方力量「開源」正在悄然崛起。目前，這份內(nèi)部文件的真實性尚未得到驗證，谷歌也并未對相關(guān)內(nèi)容置評。網(wǎng)友評論在官宣 PaLM 2 之初，就有網(wǎng)友根據(jù) Chinchilla 定律預測其參數(shù)量，ta 預測 PaLM 2 模型家族的參數(shù)結(jié)果為 80B / 90B / 100B 不等，和這次爆料的 340B 還是差距很大的。還有人對 PaLM 2 的訓練成本進行了一波預測，根據(jù)歷代大模型的發(fā)展來看，這位網(wǎng)友表示，打造 PaLM 2 需要耗資 1 億美元。PaLM 2 參數(shù)都泄密了，可以試著推測 Bard 了，這位網(wǎng)友表示：隨著 PaLM 2 token 數(shù)的泄露，網(wǎng)友不禁疑問，在 AGI 到來之前，多少 token 才能迎來一次大轉(zhuǎn)折？