聯(lián)邦政府任命“AI末日論者”負(fù)責(zé)美國(guó)AI安全研究所

美國(guó)AI安全研究所——隸屬于國(guó)家標(biāo)準(zhǔn)技術(shù)研究所（NIST）——在經(jīng)過(guò)多方猜測(cè)后，終于宣布了其領(lǐng)導(dǎo)團(tuán)隊(duì)。

被任命為AI安全負(fù)責(zé)人的是Paul Christiano，一位前OpenAI研究員，他開(kāi)創(chuàng)了一種基礎(chǔ)AI安全技術(shù)，稱(chēng)為從人類(lèi)反饋中學(xué)習(xí)的強(qiáng)化學(xué)習(xí)（RLHF），但他也因預(yù)測(cè)“AI發(fā)展有50%的機(jī)會(huì)以‘末日’結(jié)束”而聞名。盡管Christiano的研究背景令人印象深刻，但一些人擔(dān)心通過(guò)任命所謂的“AI末日論者”，NIST可能會(huì)鼓勵(lì)許多批評(píng)者視為純粹猜測(cè)的非科學(xué)思維。

有傳言稱(chēng)，NIST工作人員反對(duì)此次任命。VentureBeat上個(gè)月發(fā)表的一篇有爭(zhēng)議的報(bào)道引用了兩位匿名消息人士的說(shuō)法，聲稱(chēng)由于Christiano的所謂“AI末日論”觀點(diǎn)，NIST工作人員“發(fā)生了動(dòng)蕩”。VentureBeat報(bào)道稱(chēng)，一些工作人員和科學(xué)家聲稱(chēng)威脅要辭職，擔(dān)心“Christiano的關(guān)聯(lián)”與有效利他主義和“長(zhǎng)期主義可能會(huì)損害該機(jī)構(gòu)的客觀性和完整性?！?/p>

NIST的使命根植于推動(dòng)科學(xué)發(fā)展，通過(guò)推動(dòng)測(cè)量科學(xué)、標(biāo)準(zhǔn)和技術(shù)的發(fā)展，促進(jìn)美國(guó)創(chuàng)新和工業(yè)競(jìng)爭(zhēng)力的提升，從而增強(qiáng)經(jīng)濟(jì)安全并改善我們的生活質(zhì)量。有效利他主義者相信“利用證據(jù)和理性來(lái)找出如何盡可能多地造福他人”，長(zhǎng)期主義者則認(rèn)為“我們應(yīng)該更多地保護(hù)未來(lái)幾代人的利益”，這兩者都更具主觀性和意見(jiàn)性。

在Bankless播客上，Christiano去年分享了他的觀點(diǎn)，稱(chēng)“AI接管”的機(jī)會(huì)大約有“10-20%”，這將導(dǎo)致人類(lèi)死亡，而“總體而言，一旦你擁有人類(lèi)水平的AI系統(tǒng)，你可能會(huì)更接近50-50的‘末日’機(jī)會(huì)?！?/p>

“我們死亡的最可能方式不是AI突然出現(xiàn)并殺死所有人，而是我們已經(jīng)在各處部署了大量的AI……[而且]如果不幸，所有這些AI系統(tǒng)都試圖殺死我們，它們肯定會(huì)殺死我們，”Christiano說(shuō)道。

所謂“AI末日論者”的批評(píng)者警告稱(chēng)，將注意力集中在任何潛在夸大的對(duì)假想的殺手AI系統(tǒng)或存在主義AI風(fēng)險(xiǎn)的討論上，可能會(huì)阻止人類(lèi)將注意力集中在當(dāng)前AI的實(shí)際危害上，包括環(huán)境、隱私、道德和偏見(jiàn)問(wèn)題。華盛頓大學(xué)計(jì)算語(yǔ)言學(xué)教授Emily Bender曾警告稱(chēng)，由于“怪異的AI末日論話(huà)語(yǔ)”被包含在喬·拜登的AI行政命令中，“NIST已被指示擔(dān)心這些幻想般的情景”，而“這就是導(dǎo)致Christiano被任命的根本問(wèn)題”。

Bender告訴Ars說(shuō)：“我認(rèn)為NIST可能有機(jī)會(huì)將其研究引向不同的方向，”“但遺憾的是他們沒(méi)有?！?/p>

作為AI安全負(fù)責(zé)人，Christiano似乎將不得不監(jiān)測(cè)當(dāng)前和潛在的風(fēng)險(xiǎn)。美國(guó)商務(wù)部的新聞稿稱(chēng)，他將“設(shè)計(jì)和執(zhí)行前沿AI模型的測(cè)試，重點(diǎn)關(guān)注具有國(guó)家安全關(guān)切的模型評(píng)估”，引導(dǎo)評(píng)估流程，并實(shí)施“風(fēng)險(xiǎn)緩解措施，以增強(qiáng)前沿模型的安全性和安全性”。

Christiano在減輕AI風(fēng)險(xiǎn)方面有豐富的經(jīng)驗(yàn)。他離開(kāi)OpenAI創(chuàng)立了Alignment Research Center（ARC），美國(guó)商務(wù)部將其描述為“一個(gè)非營(yíng)利性研究機(jī)構(gòu)，旨在通過(guò)推進(jìn)理論研究，將未來(lái)的機(jī)器學(xué)習(xí)系統(tǒng)與人類(lèi)利益保持一致?！?ARC的使命之一是測(cè)試AI系統(tǒng)是否在演變?yōu)椴倏v或欺騙人類(lèi)，ARC的網(wǎng)站上寫(xiě)道。ARC還進(jìn)行研究，幫助AI系統(tǒng)“優(yōu)雅地?cái)U(kuò)展”。

由于Christiano的研究背景，一些人認(rèn)為他是領(lǐng)導(dǎo)安全研究所的不錯(cuò)選擇，比如美國(guó)科學(xué)家聯(lián)合會(huì)新興技術(shù)與國(guó)家安全副主任Divyansh Kaushik。在X（前稱(chēng)Twitter）上，Kaushik寫(xiě)道，安全研究所的目標(biāo)是從AI中減輕化學(xué)、生物、放射和核風(fēng)險(xiǎn)，而Christiano“非常合格”于測(cè)試這些AI模型。不過(guò)，Kaushik警告說(shuō)，“如果有關(guān)NIST科學(xué)家因Christiano的任命而威脅要辭職”的消息屬實(shí)，“那顯然將是嚴(yán)重的事情?！?/p>

美國(guó)商務(wù)部不對(duì)其人員進(jìn)行評(píng)論，因此目前尚不清楚是否有人因?yàn)镃hristiano的任命而辭職或計(jì)劃辭職。自宣布后，Ars并未找到任何NIST工作人員公開(kāi)宣布他們可能考慮辭職的公告。

除了Christiano之外，安全研究所的領(lǐng)導(dǎo)團(tuán)隊(duì)還包括Mara Quintero Campbell，一位在COVID應(yīng)對(duì)和CHIPS法案實(shí)施方面領(lǐng)導(dǎo)項(xiàng)目的商務(wù)部官員，擔(dān)任代理首席運(yùn)營(yíng)官和首席幕僚。Adam Russell，一位專(zhuān)注于人工智能團(tuán)隊(duì)合作、預(yù)測(cè)和集體智能的專(zhuān)家，將擔(dān)任首席視覺(jué)官。Rob Reich，一位來(lái)自斯坦福大學(xué)的以人為本的AI專(zhuān)家，將擔(dān)任高級(jí)顧問(wèn)。而Mark Latonero，一位曾擔(dān)任白宮全球AI政策專(zhuān)家，幫助起草了拜登的AI行政命令，將擔(dān)任國(guó)際事務(wù)負(fù)責(zé)人。

美國(guó)商務(wù)部長(zhǎng)吉娜·雷蒙多在新聞稿中表示：“為了保護(hù)我們?cè)谪?fù)責(zé)任的AI領(lǐng)域的全球領(lǐng)導(dǎo)地位，并確保我們能夠履行我們減輕AI風(fēng)險(xiǎn)并利用其好處的使命，我們需要國(guó)家能提供的頂級(jí)人才?！薄斑@正是我們選擇這些在其領(lǐng)域最優(yōu)秀的人士加入美國(guó)AI安全研究所執(zhí)行領(lǐng)導(dǎo)團(tuán)隊(duì)的原因?！?/p>

VentureBeat的報(bào)道聲稱(chēng)，雷蒙多直接任命了Christiano。

Bender告訴Ars說(shuō)，NIST在研究“政府和非政府機(jī)構(gòu)如何使用自動(dòng)化技術(shù)”的過(guò)程中包含“末日情景”沒(méi)有任何優(yōu)勢(shì)。

Bender告訴Ars說(shuō)：“AI安全敘事的根本問(wèn)題在于它將人從圖景中剔除了，”“但我們需要擔(dān)心的是人們?nèi)绾卫眉夹g(shù)，而不是技術(shù)自主地做些什么?！?/p>

Christiano解釋了他對(duì)AI末日的看法Ars無(wú)法立即聯(lián)系到Christiano評(píng)論，但他已經(jīng)解釋了他對(duì)AI末日和負(fù)責(zé)任的AI擴(kuò)展的看法。

在LessWrong上發(fā)布的一篇博客中，他解釋了導(dǎo)致人們對(duì)他的AI末日看法產(chǎn)生困惑的兩個(gè)區(qū)別。

第一個(gè)區(qū)別“是死亡（‘滅絕風(fēng)險(xiǎn)’）和有一個(gè)糟糕的未來(lái)（‘存在風(fēng)險(xiǎn)’）之間的區(qū)別”，澄清說(shuō)他認(rèn)為“在沒(méi)有滅絕的情況下存在糟糕的未來(lái)的機(jī)會(huì)很大，例如，AI系統(tǒng)接管但并不殺死每個(gè)人。”一個(gè)“糟糕的未來(lái)”的版本將是“世界由AI系統(tǒng)統(tǒng)治，而我們無(wú)法建造與我們的價(jià)值觀相符或關(guān)心幫助我們的AI系統(tǒng)”，Christiano說(shuō)，“這可能甚至不是一個(gè)客觀糟糕的未來(lái)。”

“但這確實(shí)意味著人類(lèi)放棄了對(duì)自己命運(yùn)的控制，我認(rèn)為從期望值來(lái)看，這是相當(dāng)糟糕的，”Christiano寫(xiě)道。

另一個(gè)區(qū)別是“現(xiàn)在死亡和以后死亡之間”，Christiano說(shuō)，澄清說(shuō)死亡以后可能并不完全“來(lái)自AI”，而是來(lái)自AI進(jìn)步之后的環(huán)境。

“我認(rèn)為我們不會(huì)因?yàn)锳I而死亡，但是AI和其他技術(shù)可能會(huì)加速世界變化的速度，所以在不久的將來(lái)有些其他事物會(huì)殺死我們，”Christiano寫(xiě)道。

在那篇文章中，Christiano詳細(xì)說(shuō)明了他估計(jì)的AI接管（22％）的可能性，即“在建立強(qiáng)大的AI使勞動(dòng)變得過(guò)時(shí)后的10年內(nèi)，大多數(shù)”人會(huì)死亡（20％），以及“在建立強(qiáng)大的AI后的10年內(nèi)，人類(lèi)以某種方式已經(jīng)不可逆地破壞了我們的未來(lái)”（46％）。

他澄清說(shuō)，這些概率僅用于“量化和傳達(dá)我相信的東西，而不是聲稱(chēng)我有某種校準(zhǔn)模型來(lái)產(chǎn)生這些數(shù)字?！彼f(shuō)這些數(shù)字基本上是猜測(cè)，經(jīng)常因?yàn)樗盏叫滦畔⒍淖儭?/p>

“只有一個(gè)這些猜測(cè)甚至與我的日常工作相關(guān)（15％的AI系統(tǒng)由人類(lèi)構(gòu)建將接管的概率），”Christiano寫(xiě)道?！皩?duì)于其他問(wèn)題，我只是一個(gè)稍微經(jīng)過(guò)一點(diǎn)思考的人。我不建議依靠15％，但絕對(duì)不建議依靠其他任何東西。”

在2023年，Christiano的非營(yíng)利組織ARC幫助測(cè)試了OpenAI的GPT-4是否會(huì)接管世界，并最終得出結(jié)論，即GPT-4并不構(gòu)成滅絕風(fēng)險(xiǎn)，因?yàn)樗凇白灾鲝?fù)制方面”“無(wú)效”。由于ARC擔(dān)心AI系統(tǒng)操縱人類(lèi)，Christiano曾在LessWrong上發(fā)表評(píng)論，稱(chēng)增強(qiáng)功能研究在AI系統(tǒng)變得更加智能時(shí)變得更加重要。這表明他在評(píng)估系統(tǒng)方面的工作將是一項(xiàng)關(guān)鍵工作。

“在這一點(diǎn)上，似乎我們面臨的風(fēng)險(xiǎn)更大，來(lái)自低估模型能力并走向危險(xiǎn)，而不是在評(píng)估過(guò)程中造成事故，”Christiano寫(xiě)道?！叭绻覀冃⌒墓芾盹L(fēng)險(xiǎn)，我認(rèn)為我們可以使這種比率非常極端，盡管當(dāng)然，這需要我們真正做這項(xiàng)工作?！?/p>

Christiano對(duì)暫停AI發(fā)展的看法Christiano并不是唯一一個(gè)警告AI存在的滅絕風(fēng)險(xiǎn)的人。在過(guò)去一年中，從OpenAI高管到28個(gè)國(guó)家的領(lǐng)導(dǎo)人，所有人都對(duì)潛在的“災(zāi)難性”AI危害發(fā)出警告。但是像Meta首席AI科學(xué)家Yann LeCun這樣的批評(píng)者則反駁說(shuō)，圍繞滅絕風(fēng)險(xiǎn)的整個(gè)辯論是“嚴(yán)重夸大和非常過(guò)早的”。

在AI安全研究所，Christiano將有機(jī)會(huì)在建造、測(cè)試和投資于AI的人聲稱(chēng)AI發(fā)展的速度正在超越風(fēng)險(xiǎn)評(píng)估的時(shí)候，減輕實(shí)際的AI風(fēng)險(xiǎn)。如果埃隆·馬斯克所說(shuō)的有一定道理的話(huà)，即AI“可能會(huì)在明年底之前比任何一個(gè)人類(lèi)都聰明。”

為了減少意外，Christiano的團(tuán)隊(duì)將需要完善風(fēng)險(xiǎn)評(píng)估，因?yàn)樗A(yù)計(jì)模型將變得更加智能，并且微調(diào)它們將變得更加危險(xiǎn)。去年十月，在有效利他主義論壇上，Christiano寫(xiě)道，需要法規(guī)來(lái)約束AI公司。

“足夠好的負(fù)責(zé)任的擴(kuò)展政策（RSPs）可以通過(guò)”為關(guān)鍵保護(hù)措施創(chuàng)建緊迫性并增加“如果這些措施不能迅速實(shí)施，暫停[AI發(fā)展]的概率”，從而顯著減少風(fēng)險(xiǎn)，Christiano解釋道。

即使有關(guān)擴(kuò)展的法規(guī)，Christiano警告說(shuō)，“快速AI發(fā)展的風(fēng)險(xiǎn)非常大，即使非常好的RSPs也不會(huì)完全消除這種風(fēng)險(xiǎn)?！?/p>

盡管一些擔(dān)心AI存在滅絕風(fēng)險(xiǎn)的批評(píng)者在過(guò)去一年中呼吁暫停AI前沿的發(fā)展，直到保護(hù)措施得到改進(jìn)，但Christiano辯稱(chēng)，只有全球統(tǒng)一的暫停才會(huì)沒(méi)有顯著的成本。

目前，Christiano表示不需要暫停，因?yàn)椤爱?dāng)前的風(fēng)險(xiǎn)水平低到足以證明，如果公司或國(guó)家有一個(gè)足夠好的計(jì)劃來(lái)檢測(cè)和應(yīng)對(duì)風(fēng)險(xiǎn)的增加，他們可以繼續(xù)發(fā)展AI?！?/p>