博客專欄

EEPW首頁 > 博客 > 安全隱患:神經(jīng)網(wǎng)絡(luò)可以隱藏惡意軟件

安全隱患:神經(jīng)網(wǎng)絡(luò)可以隱藏惡意軟件

發(fā)布人:AI科技大本營 時間:2022-03-12 來源:工程師 發(fā)布文章

編譯 | 禾木木

出品 | AI科技大本營(ID:rgznai100)

憑借數(shù)百萬和數(shù)十億的數(shù)值參數(shù),深度學(xué)習(xí)模型可以做到很多的事情,例如,檢測照片中的對象、識別語音、生成文本以及隱藏惡意軟件。加州大學(xué)圣地亞哥分校和伊利諾伊大學(xué)的研究人員發(fā)現(xiàn),神經(jīng)網(wǎng)絡(luò)可以在不觸發(fā)反惡意軟件的情況下嵌入惡意負(fù)載。

惡意軟件隱藏技術(shù) EvilModel 揭示了深度學(xué)習(xí)的安全問題,這已成為機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)安全會議討論的熱門話題。隨著深度學(xué)習(xí)逐漸與我們的應(yīng)用中變得必不可分,安全社區(qū)需要考慮新的方法來保護(hù)用戶免受這類新興的威脅。


圖片

深度學(xué)習(xí)模型中隱藏的惡意軟件

 每個深度學(xué)習(xí)模型都是由多層人工神經(jīng)元組成,根據(jù)層的類型,每個神經(jīng)元與其上一層和下一層中的所有或部分神經(jīng)元有所連接。根據(jù)深度學(xué)習(xí)模型在針對任務(wù)訓(xùn)練時使用的參數(shù)數(shù)值不同,神經(jīng)元間連接的強(qiáng)度也會不同,大型的神經(jīng)網(wǎng)絡(luò)甚至可以擁有數(shù)億乃至數(shù)十億的參數(shù)。圖片EvilModel 背后的主要思想是將惡意軟件嵌入到神經(jīng)網(wǎng)絡(luò)的參數(shù)中,使其對惡意軟件掃描儀不可見。這是隱寫術(shù)的一種形式,將一條信息隱藏在另一條信息中的做法。同時,攜帶惡意病毒的深度學(xué)習(xí)模型還必須執(zhí)行其主要任務(wù)(例如,圖像分類)做到和正常模型一樣號,以避免引起懷疑或使其對受害者無用。最后,攻擊者必須有一種機(jī)制將受感染的模型傳遞給目標(biāo)設(shè)備,并從模型參數(shù)中提取惡意軟件。


圖片

更改參數(shù)值

 多數(shù)深度學(xué)習(xí)模型都會使用 32 位(4 個字節(jié))的浮點(diǎn)數(shù)來存儲參數(shù)值。據(jù)研究者實(shí)驗(yàn),黑客可以在不顯著提升其中數(shù)值的前提下,每個參數(shù)中存儲最多存儲 3 字節(jié)的病毒。圖片大多數(shù)深度學(xué)習(xí)模型使用 32 位(4字節(jié))浮點(diǎn)數(shù)來存儲參數(shù)值。根據(jù)研究,在不顯著提升其數(shù)值的前提下,最多有三字節(jié)可用于嵌入惡意代碼。在感染深度學(xué)習(xí)模型時,攻擊者會將病毒打散至 3 字節(jié),并將數(shù)據(jù)嵌入到模型的參數(shù)之中。為了將惡意軟件傳輸至目標(biāo)的手段,攻擊者可以將感染后的模型發(fā)布至 GitHub 或 TorchHub 等任意托管神經(jīng)模型的網(wǎng)站。或是通過更復(fù)雜的供應(yīng)鏈攻擊形式,讓目標(biāo)設(shè)備上軟件的自動更新來傳播受感染的模型。一旦受感染后的模型交付給受害者,一個小小的軟件就可提取并執(zhí)行負(fù)載。


圖片

在卷積神經(jīng)網(wǎng)絡(luò)中隱藏的惡意軟件

 為了驗(yàn)證 EvilModel 的可行性,研究人員在多個卷積神經(jīng)網(wǎng)絡(luò)(CNN)中進(jìn)行了測試。CNN 是個很好的測試環(huán)境,首先,CNN 的體積都很大,通常會有幾十層和數(shù)百萬的參數(shù);其次,CNN 包含各類架構(gòu),有不同類型的層(全連接層、卷積層)、不同的泛化技術(shù)(批歸一化、棄權(quán)、池化等等),這些多樣化讓評估各類病毒嵌入設(shè)定變得可能;第三,CNN 通常用于計(jì)算機(jī)視覺類的應(yīng)用,這些都是惡意因素的主要攻擊對象;最后,很多經(jīng)過預(yù)訓(xùn)練的 CNN 可以在不經(jīng)任何改動的情況下直接集成到新的應(yīng)用程序中,而多數(shù)在應(yīng)用中使用預(yù)訓(xùn)練 CNN 的開發(fā)人員并不一定知道深度學(xué)習(xí)的具體應(yīng)用原理。研究人員首先嘗試進(jìn)行病毒嵌入的神經(jīng)網(wǎng)路是AlexNet,一款曾在 2012 年重新激起人們對深度學(xué)習(xí)興趣的流行軟件,擁有 178 兆字節(jié)、五個卷積層和三個密集層或全連接層。圖片在用批量標(biāo)準(zhǔn)化(Batch Normalization,一種先分組標(biāo)準(zhǔn)化訓(xùn)練樣本,再進(jìn)入深度模型訓(xùn)練的技術(shù))訓(xùn)練 AlexNet 時,研究者們成功將 26.8 M 的惡意軟件嵌入到了模型之中,并同時確保了其與正常模型預(yù)測的準(zhǔn)確率相差不超過 1%。但如果增加惡意軟件的數(shù)據(jù)量,準(zhǔn)確率將大幅下降。下一步的實(shí)驗(yàn)是重新訓(xùn)練感染后模型。通過凍結(jié)受感染神經(jīng)元避免其在額外訓(xùn)練周期中被修改,再加上批量標(biāo)準(zhǔn)化和再訓(xùn)練,研究人員成功將惡意病毒的數(shù)據(jù)量提升至 36.9MB,并同時保證了模型的準(zhǔn)確率在 90% 以上。圖片研究中實(shí)驗(yàn)用的八個樣本病毒都是可以被線上病毒掃描網(wǎng)站 VirusTotal 識別為惡意軟件的,一旦樣本成功嵌入神經(jīng)網(wǎng)絡(luò),研究人員就會將模型上傳至 VirusTotal 中進(jìn)行掃描。而病毒掃描結(jié)果卻顯示這些模型“安全”,意味著惡意軟件的偽裝并未暴露。研究人員又在其他幾個 CNN 架構(gòu)上進(jìn)行了相同的測試, 包括 VGG、ResNet、Inception,以及 Mobilenet。實(shí)驗(yàn)結(jié)果類似,惡意軟件都未被成功檢測。這些隱匿的惡意軟件將會是所有大型神經(jīng)網(wǎng)絡(luò)都需要面對的威脅。


圖片

保護(hù)機(jī)器學(xué)習(xí)管道

 考慮到潛藏在深度學(xué)習(xí)模型中的惡意負(fù)載可以避過病毒掃描的檢測,對抗 EvilModel 的唯一手段恐怕就只有直接銷毀病毒本身了。這類病毒只有在所有字節(jié)都完好無損才能保證感染成功。因此,如果收到 EvilModel 的受害者可以在不凍結(jié)受感染層的情況下重新訓(xùn)練模型,改變參數(shù)數(shù)值,便可讓病毒數(shù)據(jù)直接被銷毀。這樣,即使只有一輪的訓(xùn)練也足以摧毀任何隱藏在深度學(xué)習(xí)模型中的惡意病毒。但是,大多數(shù)開發(fā)人員都按原樣使用預(yù)訓(xùn)練模型,除非他們想要針對其他應(yīng)用做更細(xì)致的調(diào)整。而很多的細(xì)調(diào)都會凍結(jié)網(wǎng)絡(luò)中絕大多數(shù)的層,這些層里很大可能包含了受感染的那些。這就意味著,除了對抗攻擊,數(shù)據(jù)中毒、成員推理等其他已知的安全問題之外,受惡意軟件感染的神經(jīng)網(wǎng)絡(luò)也將成為深度學(xué)習(xí)的未來中真正的威脅之一。圖片機(jī)器學(xué)習(xí)模型與經(jīng)典的、基于規(guī)則的軟件之間的差別意味著我們需要新的方法來應(yīng)對安全威脅。2021 年上半年的時候,不少組織都提出了對抗性機(jī)器學(xué)習(xí)威脅矩陣,一個可協(xié)助開發(fā)者們發(fā)現(xiàn)機(jī)器學(xué)習(xí)管道弱點(diǎn)并修補(bǔ)安全漏洞的框架。雖然威脅矩陣更側(cè)重于對抗性攻擊,但其所提出的方法也適用于 EvilModels 等威脅。在研究人員找到更可靠的手段來檢測并阻止深度學(xué)習(xí)網(wǎng)絡(luò)中的惡意軟件之前,我們必須確立機(jī)器學(xué)習(xí)管道中的信任鏈。既然病毒掃描和其他靜態(tài)分析工具無法檢測到受感染模型,開發(fā)者們必須確保他們所使用的模型是來自可信任的渠道,并且訓(xùn)練數(shù)據(jù)和學(xué)習(xí)參數(shù)未受到損害。隨著我們在深度學(xué)習(xí)安全問題方面更深一步的研究,我們也必須對那些用于分析圖片或識別語音的、數(shù)量龐雜的數(shù)據(jù)背后所隱藏的東西保持警惕。參考鏈接:https://bdtechtalks.com/2021/12/09/evilmodel-neural-networks-malware


*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點(diǎn),如有侵權(quán)請聯(lián)系工作人員刪除。



關(guān)鍵詞: AI

相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉