對抗性數(shù)據(jù)需警惕 科學家已經(jīng)測試“欺騙”了一輛無人車
近年來,人工智能已經(jīng)取得了長足的進步,但正如許多人工智能使用者所表明的那樣,人工智能仍然容易出現(xiàn)一些人類并不會犯的驚人錯誤。雖然這些錯誤有時可能是人工智能進行學習時不可避免的后果,但越來越明顯的是,一個比我們意想中嚴重得多的問題正帶來越來越大的風險:對抗性數(shù)據(jù)。
本文引用地址:http://butianyuan.cn/article/201907/402082.htm對抗性數(shù)據(jù)描述了這樣一種情況,人類用戶故意向算法提供已損壞的信息,損壞的數(shù)據(jù)打亂了機器學習過程,從而欺騙算法得出虛假的結(jié)論或不正確的預測。
作為一名生物醫(yī)學工程師,筆者認為對抗數(shù)據(jù)是一個值得關注的重要話題。最近,加州大學伯克利分校(UC Berkeley)教授唐恩·宋(Dawn Song)“欺騙”了一輛自動駕駛汽車,讓它以為停車標志上的限速是每小時45英里。
這種性質(zhì)的惡意攻擊很容易導致致命的事故。同樣地,受損的算法數(shù)據(jù)可能導致錯誤的生物醫(yī)學研究,重則危及生命或影響醫(yī)學事業(yè)的創(chuàng)新發(fā)展。
直到最近,人們才意識到對抗性數(shù)據(jù)的威脅,我們不能再忽視它了。
對抗性數(shù)據(jù)是如何產(chǎn)生的呢?
有趣的是,即使不帶任何惡意,也可能產(chǎn)生對抗性數(shù)據(jù)的輸出。這在很大程度上是因為算法能夠“觀察”到我們?nèi)祟悷o法識別的數(shù)據(jù)中的東西。由于這種可見性,麻省理工學院最近的一個案例研究將對抗性描述為一種特性,而不是故障。
在這項研究中,研究人員將人工智能學習過程中的“魯棒性”和“非魯棒性”特征進行了分離。魯棒特征通常可以被人類感知到,而非魯棒特征只能被人工智能檢測到。研究人員嘗試用一種算法讓人工智能識別貓的圖片,結(jié)果顯示,系統(tǒng)通過觀察圖像中的真實模式,卻得出錯誤的結(jié)論。
錯誤識別發(fā)生的原因是,人工智能看到的是一組無法明顯感知的像素,使得它無法正確識別照片。這導致在識別算法的過程中,系統(tǒng)在無意中被訓練成使用誤導模式。
這些非魯棒性特征作為一種“干擾噪聲”,導致算法的結(jié)果存在缺陷。因此,黑客要想干擾人工智能,往往只需要引入一些非魯棒特性,這些特性不容易被人眼識別,但可以明顯地改變?nèi)斯ぶ悄艿妮敵鼋Y(jié)果。
對抗性數(shù)據(jù)和黑暗人工智能的潛在后果
正如安全情報局的穆阿扎姆·汗所指出的,依賴于對抗性數(shù)據(jù)的攻擊主要有兩種類型:“中毒攻擊”和“閃躲攻擊”。在中毒攻擊中,攻擊者提供了一些輸入示例,這些輸入示例使得決策邊界轉(zhuǎn)移向?qū)粽哂欣姆较?;在閃躲攻擊中,攻擊者會使得程序模型對樣本進行錯誤分類。
例如,在筆者所熟悉的生物醫(yī)學環(huán)境中,對抗性數(shù)據(jù)的攻擊可能會導致算法錯誤地將有害或受污染的樣本標記為良性且清潔,這就可能導致錯誤的研究結(jié)果或不正確的醫(yī)療診斷。
讓人工智能學習算法也可以被用來驅(qū)動專門為幫助黑客而設計的惡意人工智能程序。正如《惡意人工智能報告》所指出的,黑客可以利用人工智能為他們的各項破壞活動提供便利,從而實現(xiàn)更廣泛的網(wǎng)絡攻擊。尤其,機器學習能夠繞過不安全的物聯(lián)網(wǎng)設備,讓黑客更容易竊取機密數(shù)據(jù)、違法操縱公司數(shù)據(jù)庫等等。本質(zhì)上,一個黑暗的人工智能工具可以通過對抗性數(shù)據(jù)來“感染”或操縱其他人工智能程序。中小型企業(yè)往往面臨更高的風險,因為他們沒有先進的網(wǎng)絡安全指標。
保護措施
盡管存在這些問題,對抗性數(shù)據(jù)也可以被用于積極的方面。事實上,許多開發(fā)人員已經(jīng)開始使用對抗性數(shù)據(jù)來檢測自己的系統(tǒng)漏洞,從而使他們能夠在黑客利用漏洞之前實現(xiàn)安全升級。其他開發(fā)人員正在使用機器學習來創(chuàng)建另一種人工智能系統(tǒng),確保其能更擅長識別和消除潛在的數(shù)據(jù)威脅。
正如喬·代沙爾特在一篇發(fā)表于“基因工程及生物技術(shù)新聞”的文章中所解釋的那樣,許多這些人工智能工具已經(jīng)能夠在計算機網(wǎng)絡上尋找可疑的活動,分析時間通常為幾毫秒,并能夠在其造成任何損害之前消除禍端,這些罪魁禍首通常來自流氓文件或程序。
他補充說,這種方法與傳統(tǒng)的信息技術(shù)安全不同,傳統(tǒng)的信息技術(shù)安全更關注于識別已知威脅的特定文件和程序,而不是研究這些文件和程序的行為。
當然,機器學習算法本身的改進也可以減少對抗性數(shù)據(jù)帶來的一些風險。然而,最重要的是,這些系統(tǒng)并不是完全獨立的。人工輸入和人工監(jiān)督仍然是識別魯棒特征和非魯棒特征之間差異的關鍵,以確保錯誤的識別不會導致錯誤的結(jié)果。利用真實相關性的額外訓練可以進一步降低人工智能的易受攻擊特性。
顯然,在不久的將來,對抗性數(shù)據(jù)將繼續(xù)對人類世界構(gòu)成挑戰(zhàn)。但在這樣一個時代,人工智能可以被用來幫助我們更好地理解人類大腦、解決各種世界問題。我們不能低估這種數(shù)據(jù)驅(qū)動威脅的緊迫性。處理對抗性數(shù)據(jù)并采取措施對抗黑暗人工智能應該成為科技界的首要任務之一。
評論