75歲Hinton中國大會最新演講「通往智能的兩種道路」，最后感慨：我已經(jīng)老了，未來交給年輕人（3）

蒸餾也能夠替代權(quán)重共享。尤其是當(dāng)你的模型用到了特定硬件的模擬屬性時(shí)，那就不能使用權(quán)重共享了，而是必須使用蒸餾來共享知識。

用蒸餾共享知識的效率并不高，帶寬很低。就像在學(xué)校里，教師都想把自己知道的知識灌進(jìn)學(xué)生腦袋，但這是不可能的，因?yàn)槲覀兪巧镏悄?，你的?quán)重對我沒用。

這里先簡單總結(jié)一下，上面提到了兩種截然不同的執(zhí)行計(jì)算的方式（數(shù)字計(jì)算和生物計(jì)算），并且智能體之間共享知識的方式也大相徑庭。

那么現(xiàn)在發(fā)展正盛的大型語言模型（LLM）是哪種形式呢？它們是數(shù)字計(jì)算方式，能使用權(quán)重共享。

但是 LLM 的每個(gè)副本智能體都只能以非常低效的蒸餾方式學(xué)習(xí)文檔中的知識。LLM 的做法是預(yù)測文檔的下一個(gè)詞，但是并沒有教師對于下一個(gè)詞的概率分布，它有的只是一個(gè)隨機(jī)選擇，即該文檔作者在下一個(gè)詞位置選用的詞。LLM 實(shí)際上學(xué)習(xí)的是我們?nèi)祟悾珎鬟f知識的帶寬非常低。

話又說回來，雖然 LLM 的每個(gè)副本通過蒸餾學(xué)習(xí)的效率非常低，但它們數(shù)量多呀，可以多達(dá)幾千個(gè)，也因此它們能學(xué)到比我們多數(shù)千倍的東西。也就是說現(xiàn)在的 LLM 比我們?nèi)魏稳硕几硬W(xué)。

超級智能會終結(jié)人類文明嗎？

接下來 Hinton 提出了一個(gè)問題：「如果這些數(shù)字智能并不通過蒸餾非常緩慢地學(xué)習(xí)我們，而是開始直接從現(xiàn)實(shí)世界學(xué)習(xí)，那么會發(fā)生什么呢？」

實(shí)際上，LLM 在學(xué)習(xí)文檔時(shí)就已經(jīng)在學(xué)習(xí)人類數(shù)千年所積累的知識了。因?yàn)槿祟悤ㄟ^語言描述我們對世界的認(rèn)識，那么數(shù)字智能就能直接通過文本學(xué)習(xí)來獲得人類積累的知識。盡管蒸餾的速度很慢，但它們也確實(shí)學(xué)到了非常抽象的知識。

如果數(shù)字智能可以通過圖像和視頻建模來進(jìn)行無監(jiān)督學(xué)習(xí)呢？現(xiàn)在的互聯(lián)網(wǎng)上已有大量影像數(shù)據(jù)可供使用，未來我們也許能夠找到讓 AI 有效學(xué)習(xí)這些數(shù)據(jù)的方法。另外，如果 AI 有機(jī)器臂等可以操控現(xiàn)實(shí)的方法，也能進(jìn)一步幫助它們學(xué)習(xí)。

Hinton 相信，如果數(shù)字智能體能做到這些，那么它們的學(xué)習(xí)能力將遠(yuǎn)遠(yuǎn)勝過人類，學(xué)習(xí)速度也會很快。

現(xiàn)在就回到了 Hinton 在開始時(shí)提出的問題：如果 AI 的智能水平超過我們，我們還能控制住它們嗎？

Hinton 表示，他做這場演講主要是想表達(dá)出他的擔(dān)憂。他說：「我認(rèn)為超級智能出現(xiàn)的時(shí)間可能會遠(yuǎn)遠(yuǎn)快于我之前所想?！顾o出了超級智能掌控人類的幾種可能方式。

比如不良行為者可能會利用超級智能來操控選舉或贏得戰(zhàn)爭（實(shí)際上現(xiàn)在已經(jīng)有人在用已有 AI 做這些事情了）。

在這種情況下，如果你想要超級智能更高效，你可能會允許它自行創(chuàng)建子目標(biāo)。而掌控更多權(quán)力是一個(gè)顯而易見的子目標(biāo)，畢竟權(quán)力越大，控制的資源越多，就更能幫助智能體實(shí)現(xiàn)其最終目標(biāo)。然后超級智能可能會發(fā)現(xiàn)，通過操控運(yùn)用權(quán)力的人就能輕松獲得更多權(quán)力。

我們很難想象比我們聰明的存在以及我們與它們互動的方式。但 Hinton 認(rèn)為比我們聰明的超級智能肯定能學(xué)會欺騙人類，畢竟人類有那么多小說和政治文獻(xiàn)可供學(xué)習(xí)。

一旦超級智能學(xué)會了欺騙人類，它就能讓人類去進(jìn)行它想要的行為。這和人騙人其實(shí)沒有本質(zhì)區(qū)別。Hinton 舉例說，如果某人想要入侵華盛頓的某棟大樓，他其實(shí)無需親自前去，他只需要欺騙人們，讓他們相信入侵這棟大樓是為了拯救民主。

「我覺得這非?？膳?。」Hinton 的悲觀溢于言表，「現(xiàn)在，我看不到該怎么防止這種情況發(fā)生，但我已經(jīng)老了?！顾Ｍ嗄瓴趴兡軌蛘业椒椒ㄗ尦壷悄軒椭祟惿畹酶?，而不是讓人類落入它們的控制之中。

但他也表示我們有一個(gè)優(yōu)勢，盡管是相當(dāng)小的優(yōu)勢，即 AI 不是進(jìn)化而來的，而是人類創(chuàng)造的。這樣一來，AI 就不具備原始人類那樣的競爭性和攻擊性目標(biāo)。也許我們能夠在創(chuàng)造 AI 的過程中為它們設(shè)定道德倫理原則。

不過，如果是智能水平遠(yuǎn)超人類的超級智能，這樣做也不見得有效。Hinton 說他從沒見過更高智能水平的東西被遠(yuǎn)遠(yuǎn)更低智能水平的東西控制的案例。就假設(shè)說如果是青蛙創(chuàng)造了人類，但現(xiàn)在的青蛙和人類又是誰控制誰呢？

最后，Hinton 悲觀地放出了這次演講的最后一頁幻燈片：

這既標(biāo)志著演講的結(jié)束，也是對全體人類的警示：超級智能可能導(dǎo)致人類文明的終結(jié)。