AI對人類的威脅程度幾何？

　　關(guān)心AI圈的人一定都知道，谷歌是一家在AI領(lǐng)域投入和應(yīng)用非常廣泛和龐大的科技公司，對于AI的研究也一直處于世界水平的前列。作為領(lǐng)域的領(lǐng)軍公司之一，谷歌自然要扛起前瞻性研發(fā)的公司，所以在很多人還對深度學(xué)習(xí)一頭霧水的時候，谷歌已經(jīng)開始研究如何避免AI傷害到人類了。

　　防范措施的全方位研究

　　前段時間，谷歌就發(fā)布了一篇論文，詳細(xì)的描寫了一種用于AI的緊急停止開關(guān)的運作原理和實現(xiàn)機制，但是這樣僅僅的一種事后應(yīng)對措施顯然是無法平復(fù)人們(包括谷歌)的擔(dān)心的，因此，另一項研究也在同時進(jìn)行，并在前者發(fā)布不久之后發(fā)布，這項研究多是從基礎(chǔ)理論出發(fā)。從根源上提出了幾種防止AI對人類的利益產(chǎn)生損害的方式，雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號關(guān)注)分上下兩部分翻譯了論文的全文，點擊鏈接：上、下——從事先預(yù)防到事后應(yīng)急。簡直已經(jīng)形成了一套完美的理論。

　　但是這確實證明了AI確實已經(jīng)強大到了足以威脅到我們的地步了嗎?Elon Musk、霍金等AI警惕論者是不是應(yīng)該為自己的遠(yuǎn)見歡呼雀躍?事實上恰恰相反。 在仔細(xì)分析了谷歌的安全機制論文后，我們恰恰認(rèn)為這篇論文反而體現(xiàn)了目前的AI仍然處在遠(yuǎn)遠(yuǎn)無法對人類這個整體產(chǎn)生威脅的程度。

　　如同Mobileye的Amnon Shashua說的那樣， 深度學(xué)習(xí)目前只能用來解決人類已知并且能非常精確的描述出來的問題。與深度學(xué)習(xí)師出同門的增強學(xué)習(xí)(Reinforcement learning，RL)自然也是一樣。在目前典型的RL學(xué)習(xí)范例中，如果要讓一個機器人很好的完成一項任務(wù)，人類必須把這項任務(wù)的所有細(xì)節(jié)量化成機器可以理解的形式，然后輸入RL的模型，再讓機器經(jīng)過無數(shù)次的模擬和實驗，才可能得出一套行之有效的方案。

　　這種形式導(dǎo)致的一項后果就是： 增強學(xué)習(xí)的“代理”(也就是機器人)的概念中，除了完成任務(wù)獲取最大化的獎勵之外不會有任何概念。在某些時候，心無旁騖是件好事，但是這卻導(dǎo)致了代理在完成任務(wù)的過程中會出現(xiàn)很多意想不到的問題，而這才是目前谷歌主要想要應(yīng)對的問題，而不是起邪念的機器人想要毀滅世界，或者干嘛的。就連谷歌自己都在論文中說：

　　目前，很多此類討論圍繞極端情景，例如在超智能代理(也就是超級人工智能啦)中出現(xiàn)錯誤目標(biāo)函數(shù)的風(fēng)險。然而，我們認(rèn)為有成效地討論意外問題不需要渲染這些極端情景，實際上這只會帶來沒必要的推測性討論，正如一些批評者所說的那樣，缺少精確度。我們相信，最有成效的做法是從現(xiàn)代機器學(xué)習(xí)技術(shù)的實際問題(雖然經(jīng)常比較籠統(tǒng))來描述意外風(fēng)險。

　　言下之意就是，現(xiàn)在的機器人如此之蠢，為什么大家都想去分析一個正在學(xué)習(xí)爬行的嬰兒會不會飛的比飛機還快?

　　注意這個類比的特點：嬰兒再怎么長大，再怎么學(xué)習(xí)，也是不可能單獨飛起來的，更何況要飛的比飛機還快，同樣，目前的增強學(xué)習(xí)模型，如果不在某種程度上發(fā)生飛躍性、本質(zhì)上的進(jìn)步，很難相信它隨著不斷的學(xué)習(xí)就能成為能超越一切的智能。

　　不夠智能=不會犯錯?

　　讓我們回到論文本身的分析來，谷歌相信現(xiàn)在的機器人只有極其有限的智能，不代表他們就認(rèn)為這樣的智能不會對人類造成損害。事實上，沒有智能的東西對人類造成的損害大了去了。其實人類在執(zhí)行某項任務(wù)的時候，除了任務(wù)目標(biāo)和手中掌握有的工具之外，人類在進(jìn)行思考的時候還會考慮兩項很重要的因素：常識和道德。它在不知不覺中影響著我們的一言一行。但由于在通常RL模型的指引下，機器人對周遭除了模型中有所描述的環(huán)境的概念一無所知，這時候它是沒有常識和道德可言的。因此很容易做出一些看起來匪夷所思，但于機器人的角度來說卻是合情合理的行為。谷歌在論文中以一個清潔機器人為例，主要提出了五種可能的、AI在執(zhí)行RL學(xué)習(xí)時可能出現(xiàn)的錯誤趨勢：

　　負(fù)面影響：AI在試圖達(dá)到目標(biāo)時可能對環(huán)境做出有負(fù)面影響的舉動。比如它可能會為了更快的打掃地面而徑直推翻(而不是繞過去)一個花瓶。

　　非法解讀：AI可能通過篡改測量值等手段在獎勵函數(shù)上玩花樣。比如掃地機器人可能只是找個東西把臟東西蓋起來讓自己看不見它，就認(rèn)為自己已經(jīng)掃干凈了地面。

　　監(jiān)管可擴展性有限：AI系統(tǒng)可能無法對那些在系統(tǒng)中不方便太過頻繁的評估的物體做出適當(dāng)?shù)姆磻?yīng)。比如，如果機器人需要從人那里獲得訓(xùn)練結(jié)果的反饋，那它就需要有有效的利用這條反饋的能力(而不能像普通的訓(xùn)練那樣不停的核對訓(xùn)練結(jié)果)，因為不停的問一個人問題是很煩人的。但目前這點很難做到。

　　環(huán)境探索安全性：AI系統(tǒng)評估環(huán)境的時候可能會造成太過負(fù)面的影響。比如，一個掃地機器人可能會需要進(jìn)行建立拖地策略的實驗來作為以后工作的依據(jù)。但是很顯然它無論怎么實驗無論如何也不應(yīng)該嘗試把濕拖把插進(jìn)插座中。

　　分配轉(zhuǎn)變的魯棒性不足：AI系統(tǒng)處在與其訓(xùn)練環(huán)境完全不同的環(huán)境時認(rèn)知和行為可能不穩(wěn)定。比如，啟發(fā)式算法讓機器在在工廠中學(xué)到的行為可能在一個辦公室中就會顯得不那么安全。

　　仔細(xì)看完這些條件會讓人感慨現(xiàn)在AI的愚蠢卻又詫異它那詭異的“智慧”?；蛟S構(gòu)建一個AI系統(tǒng)是世界上對邏輯性要求最嚴(yán)密的職業(yè)了，因為正是邏輯造就了AI，在它們的世界里現(xiàn)在還不存在感情之類的約束。如果你要求AI去完成一件事，那AI毫無疑問的會在它的邏輯框架下想盡一切辦法去完成，哪怕因此必須要完成一些在人類看來是“作弊”或者“得不償失”的動作。

　　因此整篇論文的關(guān)鍵點就圍繞在獎勵條件的建立和維護(hù)上進(jìn)行。正如之前所說，論文中并沒有涉及過多的具體方法和公式，而傾向于提供思路，一部分原因應(yīng)該是RL的研究實際上還不足以支撐在這些措施的太過具體的實現(xiàn)，不過在某種程度上應(yīng)該也是因為谷歌不希望太具體的方法限制了算法開發(fā)者們的發(fā)揮。

　　防范的思路

　　對應(yīng)這五點可能的錯誤，谷歌在論文中零零總總列出了大概十條防范措施的思路，不過總結(jié)起來，大致就是從三個RL設(shè)計的三個最基本的方面來考慮的：

　　對于獎勵條件本身的優(yōu)化：

　　人類的行動都是基于常識和道德來考慮的，因此，為機器也加上一個類似的價值觀系統(tǒng)是一個比較合理的考慮方向，谷歌在論文里提出：指派RL算法完成任務(wù)的時候，人們最傾向的希望其實是該機器人不要給環(huán)境造成任何影響——不要破壞環(huán)境中已有的物品，不要打翻花瓶，不要……。但是如果只是簡單粗暴的給所有對環(huán)境的改變都加上負(fù)獎勵，那很可能會導(dǎo)致代理最終決定不再做任何事，因為一旦代理開始行動，或多或少都會給環(huán)境帶來改變。

　　谷歌對此提出了幾種思路，包括推測一個代理用正確的方式完成任務(wù)后環(huán)境的狀態(tài)，然后用這個狀態(tài)作為獎勵、對代理進(jìn)入完成任務(wù)時不希望其進(jìn)入的區(qū)域的行為作出懲罰，以及讓代理能夠理解它的行為對其他代理個體(包括人)帶來的影響，但谷歌在論文里也指出，目前并沒有足夠強大的能支持這種理解的模型出現(xiàn)。

　　防止對獎勵條件的濫用和曲解：

　　對于這個方面，谷歌提出的方法大概能分為這么幾類：

　　謹(jǐn)慎行動：這是最笨的辦法，只要人們設(shè)計系統(tǒng)的時候夠小心，可能就能避開所有能被算法利用來獲取獎勵的bug。或者從另一方面來說，人們可以故意留出一些可以被算法利用的漏洞來作為預(yù)警，并時刻監(jiān)視這些漏洞，當(dāng)這些漏洞被攻破，就意味著算法需要調(diào)整了。

　　對抗性致盲：谷歌認(rèn)為，可以通過隱藏獎勵的部分細(xì)節(jié)、甚至完全將獎勵機制黑箱化，讓算法主體無法通過尋找規(guī)則本身的漏洞來攻破規(guī)則。黑箱原理類似于現(xiàn)在很多手機采用的指紋識別系統(tǒng)。有專用的芯片負(fù)責(zé)指紋識別，手機本身的系統(tǒng)是沒有權(quán)限讀取其芯片中的數(shù)據(jù)的，它能做的只有向芯片中發(fā)送指紋識別的請求，由芯片獨立完成識別后再將結(jié)果返回給系統(tǒng)。這樣無疑可以極大減小獎勵的規(guī)則被算法利用的可能性。

　　對抗獎勵：甚至，谷歌還認(rèn)為，人們可以為此設(shè)計另外一個代理，讓兩個代理互相監(jiān)督對方有沒有做出違背人類希望的選擇。所謂以毒攻毒。

　　對模型本身的限制：使用各種方法加強包括人類對算法的監(jiān)視，確保當(dāng)模型做出不良選擇時，能及時的得到負(fù)面的反饋。為了不讓模型訓(xùn)練后變得過于消極，如果人們確定代理在一個區(qū)域內(nèi)活動的時候無論如何也不會給人類造成損害，可以將這個區(qū)域劃為一個安全區(qū)域，在這個區(qū)域內(nèi)，代理可以自由的進(jìn)行各種探索。

　　AI科研的下一個里程碑和挑戰(zhàn)

　　其實從這篇論文中就能看出：目前AI的研究方式無非就是抽象、邏輯化環(huán)境和任務(wù)目標(biāo)，將這些東西教給代理，然后給它無數(shù)次機會和數(shù)據(jù)進(jìn)行訓(xùn)練，讓它在無數(shù)次嘗試中得到最好的目標(biāo)實現(xiàn)方法。而這些數(shù)據(jù)就是一堆堆的函數(shù)和概率。

　　雖然谷歌已經(jīng)開始著手為其定制預(yù)防措施，但不出意外的話，這些東西都不會是最后真正AI的形態(tài)。其實人們最初設(shè)想的AI，其外在的表現(xiàn)會和人一樣：它們剛誕生的時候可能也什么都不懂，但是它有一種像人類一樣的，能夠通用于世間萬物的學(xué)習(xí)能力。很快就能學(xué)會它需要的所有東西，(最后超越人類)。

　　目前，研究一種通用的學(xué)習(xí)算法正是AI科研領(lǐng)域內(nèi)很多學(xué)者研究的重點。在最近的一次采訪中，深度學(xué)習(xí)大牛，ImageNet的創(chuàng)辦者李飛飛最近在a16z的podcast中也表示：“ 我的下一個夢想就是希望能教會機器人應(yīng)該怎么去學(xué)習(xí)，而不是模仿訓(xùn)練數(shù)據(jù)?！?/p>

　　如果AI真的具有了一種通用的學(xué)習(xí)能力，那我們該傳達(dá)給它們的就不應(yīng)該是更多的規(guī)則，而是一種新型的，對人類和機器都會有利的價值觀了，那可能又會是一種全新的方法和思路。這也是DeepMind的早期投資人Jaan Tallinn曾預(yù)言過的下一個極有潛力的AI相關(guān)領(lǐng)域： AI的價值觀對接研究(value-alignment research)