對抗性數(shù)據(jù)需警惕 科學(xué)家已經(jīng)測試“欺騙”了一輛無人車

近年來，人工智能已經(jīng)取得了長足的進步，但正如許多人工智能使用者所表明的那樣，人工智能仍然容易出現(xiàn)一些人類并不會犯的驚人錯誤。雖然這些錯誤有時可能是人工智能進行學(xué)習(xí)時不可避免的后果，但越來越明顯的是，一個比我們意想中嚴(yán)重得多的問題正帶來越來越大的風(fēng)險：對抗性數(shù)據(jù)。

對抗性數(shù)據(jù)描述了這樣一種情況，人類用戶故意向算法提供已損壞的信息，損壞的數(shù)據(jù)打亂了機器學(xué)習(xí)過程，從而欺騙算法得出虛假的結(jié)論或不正確的預(yù)測。

作為一名生物醫(yī)學(xué)工程師，筆者認(rèn)為對抗數(shù)據(jù)是一個值得關(guān)注的重要話題。最近，加州大學(xué)伯克利分校(UC Berkeley)教授唐恩·宋(Dawn Song)“欺騙”了一輛自動駕駛汽車，讓它以為停車標(biāo)志上的限速是每小時45英里。

這種性質(zhì)的惡意攻擊很容易導(dǎo)致致命的事故。同樣地，受損的算法數(shù)據(jù)可能導(dǎo)致錯誤的生物醫(yī)學(xué)研究，重則危及生命或影響醫(yī)學(xué)事業(yè)的創(chuàng)新發(fā)展。

直到最近，人們才意識到對抗性數(shù)據(jù)的威脅，我們不能再忽視它了。

對抗性數(shù)據(jù)是如何產(chǎn)生的呢？

有趣的是，即使不帶任何惡意，也可能產(chǎn)生對抗性數(shù)據(jù)的輸出。這在很大程度上是因為算法能夠“觀察”到我們?nèi)祟悷o法識別的數(shù)據(jù)中的東西。由于這種可見性，麻省理工學(xué)院最近的一個案例研究將對抗性描述為一種特性，而不是故障。

在這項研究中，研究人員將人工智能學(xué)習(xí)過程中的“魯棒性”和“非魯棒性”特征進行了分離。魯棒特征通?？梢员蝗祟惛兄剑囚敯籼卣髦荒鼙蝗斯ぶ悄軝z測到。研究人員嘗試用一種算法讓人工智能識別貓的圖片，結(jié)果顯示，系統(tǒng)通過觀察圖像中的真實模式，卻得出錯誤的結(jié)論。

錯誤識別發(fā)生的原因是，人工智能看到的是一組無法明顯感知的像素，使得它無法正確識別照片。這導(dǎo)致在識別算法的過程中，系統(tǒng)在無意中被訓(xùn)練成使用誤導(dǎo)模式。

這些非魯棒性特征作為一種“干擾噪聲”，導(dǎo)致算法的結(jié)果存在缺陷。因此，黑客要想干擾人工智能，往往只需要引入一些非魯棒特性，這些特性不容易被人眼識別，但可以明顯地改變?nèi)斯ぶ悄艿妮敵鼋Y(jié)果。

對抗性數(shù)據(jù)和黑暗人工智能的潛在后果

正如安全情報局的穆阿扎姆·汗所指出的，依賴于對抗性數(shù)據(jù)的攻擊主要有兩種類型：“中毒攻擊”和“閃躲攻擊”。在中毒攻擊中，攻擊者提供了一些輸入示例，這些輸入示例使得決策邊界轉(zhuǎn)移向?qū)粽哂欣姆较颍辉陂W躲攻擊中，攻擊者會使得程序模型對樣本進行錯誤分類。

例如，在筆者所熟悉的生物醫(yī)學(xué)環(huán)境中，對抗性數(shù)據(jù)的攻擊可能會導(dǎo)致算法錯誤地將有害或受污染的樣本標(biāo)記為良性且清潔，這就可能導(dǎo)致錯誤的研究結(jié)果或不正確的醫(yī)療診斷。

讓人工智能學(xué)習(xí)算法也可以被用來驅(qū)動專門為幫助黑客而設(shè)計的惡意人工智能程序。正如《惡意人工智能報告》所指出的，黑客可以利用人工智能為他們的各項破壞活動提供便利，從而實現(xiàn)更廣泛的網(wǎng)絡(luò)攻擊。尤其，機器學(xué)習(xí)能夠繞過不安全的物聯(lián)網(wǎng)設(shè)備，讓黑客更容易竊取機密數(shù)據(jù)、違法操縱公司數(shù)據(jù)庫等等。本質(zhì)上，一個黑暗的人工智能工具可以通過對抗性數(shù)據(jù)來“感染”或操縱其他人工智能程序。中小型企業(yè)往往面臨更高的風(fēng)險，因為他們沒有先進的網(wǎng)絡(luò)安全指標(biāo)。

保護措施

盡管存在這些問題，對抗性數(shù)據(jù)也可以被用于積極的方面。事實上，許多開發(fā)人員已經(jīng)開始使用對抗性數(shù)據(jù)來檢測自己的系統(tǒng)漏洞，從而使他們能夠在黑客利用漏洞之前實現(xiàn)安全升級。其他開發(fā)人員正在使用機器學(xué)習(xí)來創(chuàng)建另一種人工智能系統(tǒng)，確保其能更擅長識別和消除潛在的數(shù)據(jù)威脅。

正如喬·代沙爾特在一篇發(fā)表于“基因工程及生物技術(shù)新聞”的文章中所解釋的那樣，許多這些人工智能工具已經(jīng)能夠在計算機網(wǎng)絡(luò)上尋找可疑的活動，分析時間通常為幾毫秒，并能夠在其造成任何損害之前消除禍端，這些罪魁禍?zhǔn)淄ǔ碜粤髅ノ募虺绦颉?/p>

他補充說，這種方法與傳統(tǒng)的信息技術(shù)安全不同，傳統(tǒng)的信息技術(shù)安全更關(guān)注于識別已知威脅的特定文件和程序，而不是研究這些文件和程序的行為。

當(dāng)然，機器學(xué)習(xí)算法本身的改進也可以減少對抗性數(shù)據(jù)帶來的一些風(fēng)險。然而，最重要的是，這些系統(tǒng)并不是完全獨立的。人工輸入和人工監(jiān)督仍然是識別魯棒特征和非魯棒特征之間差異的關(guān)鍵，以確保錯誤的識別不會導(dǎo)致錯誤的結(jié)果。利用真實相關(guān)性的額外訓(xùn)練可以進一步降低人工智能的易受攻擊特性。

顯然，在不久的將來，對抗性數(shù)據(jù)將繼續(xù)對人類世界構(gòu)成挑戰(zhàn)。但在這樣一個時代，人工智能可以被用來幫助我們更好地理解人類大腦、解決各種世界問題。我們不能低估這種數(shù)據(jù)驅(qū)動威脅的緊迫性。處理對抗性數(shù)據(jù)并采取措施對抗黑暗人工智能應(yīng)該成為科技界的首要任務(wù)之一。