OpenAI宣布組建新團(tuán)隊 以控制“超級智能”人工智能

7月6日消息，美國當(dāng)?shù)貢r間周三，人工智能初創(chuàng)公司OpenAI宣布其正組建一個新的團(tuán)隊，以開發(fā)引導(dǎo)和控制“超級智能”（“superintelligent”）人工智能系統(tǒng)的方法。這個團(tuán)隊由OpenAI首席科學(xué)家、聯(lián)合創(chuàng)始人伊利亞·蘇斯克維爾(Ilya Sutskever)領(lǐng)導(dǎo)。

在博客文章中，蘇斯克維爾和OpenAI協(xié)調(diào)團(tuán)隊的負(fù)責(zé)人簡·萊克（Jan Leike）預(yù)測，智能超過人類的人工智能將在十年內(nèi)出現(xiàn)。他們警告稱，這種人工智能不一定對人類抱有仁慈之心，因此有必要研究控制和限制它的方法。

蘇斯克維爾和萊克寫道：“目前，我們還沒有任何解決方案可以用來操縱或控制潛在的超級智能人工智能，并防止它失控。我們目前調(diào)整人工智能的技術(shù)，比如從人類反饋中強(qiáng)化學(xué)習(xí)，依賴于人類監(jiān)督人工智能的能力。但人類將無法可靠地監(jiān)督比我們聰明得多的人工智能系統(tǒng)?！?/p>

為了在“超級智能對齊”（Superintelligence Alignment）領(lǐng)域取得進(jìn)展，OpenAI正在創(chuàng)建新的超級對齊團(tuán)隊，由蘇斯克維爾和萊克共同領(lǐng)導(dǎo)，該團(tuán)隊將有權(quán)使用OpenAI高達(dá)20%的算力資源。這個團(tuán)隊將與OpenAI之前的對齊部門科學(xué)家和工程師以及公司其他機(jī)構(gòu)的研究人員一起，致力于在未來四年解決控制超智能人工智能的核心技術(shù)挑戰(zhàn)。

那么，我們?nèi)绾未_保比人類聰明得多的人工智能系統(tǒng)遵循人類的意圖? 這需要蘇斯克維爾和萊克所描述的“人類級別的自動對齊研究員”幫助。高級目標(biāo)是使用人類反饋來訓(xùn)練人工智能系統(tǒng)，訓(xùn)練人工智能協(xié)助評估其他人工智能系統(tǒng)，并最終構(gòu)建可以進(jìn)行對齊研究的人工智能。這里的“對齊研究”指的是確保人工智能系統(tǒng)達(dá)到預(yù)期的結(jié)果，或者不會偏離研究軌道。

OpenAI的假設(shè)是，人工智能可以比人類更快、更好地進(jìn)行對齊研究。

“隨著我們在這方面取得進(jìn)展，我們的人工智能系統(tǒng)可以接管越來越多的對齊工作，并最終構(gòu)思、實(shí)施、研究和開發(fā)比我們現(xiàn)在更好的對齊技術(shù)，”萊克和他的同事約翰·舒爾曼（John Schulman）、杰弗里·吳（Jeffrey Wu）在之前的一篇博客文章中假設(shè)。“它們將與人類共同努力，以確保它們自己的繼任者與人類始終保持一致。人類研究人員將越來越多地把精力集中在審查人工智能系統(tǒng)完成的對齊研究上，而不是自己進(jìn)行這類研究?！?/p>

當(dāng)然，沒有任何方法是萬無一失的，萊克、舒爾曼以及杰弗里·吳在他們的文章中承認(rèn)，OpenAI的方法存在許多局限性。他們說，使用人工智能進(jìn)行評估有可能擴(kuò)大人工智能中的不一致、偏見或漏洞。結(jié)果可能是，對齊問題中最困難的部分可能根本與工程無關(guān)。

但蘇斯克維爾和萊克認(rèn)為值得一試。他們寫道：“從根本上說，超級智能對齊是一個機(jī)器學(xué)習(xí)問題，我們認(rèn)為優(yōu)秀的機(jī)器學(xué)習(xí)專家（即使他們還沒有開始研究對齊）對解決這個問題也至關(guān)重要。我們計劃廣泛分享這一努力的成果，并將促進(jìn)非OpenAI模型的一致性和安全性視為我們工作的重要組成部分?！?/p>