攝像頭和激光雷達(dá)都被蒙蔽？UCI首次提出針對(duì)自動(dòng)駕駛多傳感器融合感知的攻擊

來(lái)自加州大學(xué)爾灣分校（UC Irvine）的研究者發(fā)現(xiàn)，L4 自動(dòng)駕駛里用的最廣泛的用來(lái)提高系統(tǒng)魯棒性的多傳感器融合感知（Multi-Sensor Fusion based Perception）技術(shù)存在一個(gè)安全漏洞，使得攻擊者可以 3D 打印出一個(gè)惡意的 3D 障礙物，放在道路中間，從而讓自動(dòng)駕駛車輛的 camera 和 LiDAR 機(jī)器學(xué)習(xí)檢測(cè)模型都識(shí)別不到。這項(xiàng)研究已經(jīng)正式發(fā)表在計(jì)算機(jī)安全四大頂會(huì)之一 IEEE S&P 2021。

在自動(dòng)駕駛系統(tǒng)里，「感知」實(shí)時(shí)周圍物體是所有重要駕駛決策的最基本前提。感知模塊負(fù)責(zé)實(shí)時(shí)檢測(cè)路上的障礙物，比如周圍車輛、行人、交通錐 （雪糕筒）等等，從而避免發(fā)生一些交通事故。當(dāng)前，L4 自動(dòng)駕駛系統(tǒng)逐漸商業(yè)化，其普遍采用多傳感器融合的設(shè)計(jì)，即融合不同的感知源，比如激光雷達(dá)（LiDAR）和攝像頭（camera），從而實(shí)現(xiàn)準(zhǔn)確并且魯棒的感知。

在這樣的設(shè)計(jì)中，根據(jù)「并非所有感知源都同時(shí)被攻擊（或可以被攻擊）」這一假設(shè)，總是存在一種可能的多傳感器融合算法，可以依靠未被攻擊的源來(lái)檢測(cè)或防止單感知源攻擊。這個(gè)基本的安全設(shè)計(jì)假設(shè)一般都是成立的，因此多傳感器融合通常被認(rèn)為是針對(duì)現(xiàn)有無(wú)人車感知攻擊（單感知源攻擊）的有效防御策略。

來(lái)自加州大學(xué)爾灣分校（UC Irvine）的研究者發(fā)現(xiàn)，在識(shí)別現(xiàn)實(shí)世界中，這種多傳感器融合的障礙物感知存在漏洞。通過(guò)這個(gè)漏洞，可以同時(shí)攻擊不同的感知源，或者攻擊單個(gè)感知源（只有 LiDAR 或者 camera 的檢測(cè)），使得無(wú)人車無(wú)法成功檢測(cè)前面的障礙物并直接撞上去。

論文鏈接：https://arxiv.org/pdf/2106.09249.pdf

在這項(xiàng)工作中，我們首次對(duì)當(dāng)今無(wú)人車系統(tǒng)中基于多傳感器融合的感知進(jìn)行了安全分析。直接挑戰(zhàn)了上述基本的安全設(shè)計(jì)假設(shè)，證明了「同時(shí)攻擊自動(dòng)駕駛多傳感器融合感知中所有感知源」的可能性。這使我們第一次具體了解到使用多傳感器融合作為無(wú)人車感知的一般防御策略能提供多少安全保障。

具體而言，我們發(fā)現(xiàn)惡意 3D 障礙物可以被用作針對(duì)基于多傳感器融合的無(wú)人車感知的攻擊載體，同時(shí)具有有隱蔽和物理上可實(shí)現(xiàn)的特點(diǎn)。3D 障礙物的不同形狀可以同時(shí)導(dǎo)致 LiDAR 點(diǎn)云中的點(diǎn)位置變化和 camera 圖像中的像素值變化，因此攻擊者可以利用形狀操作，同時(shí)向 camera 和 LiDAR 引入輸入擾動(dòng)。這樣的攻擊載體還有另外兩個(gè)優(yōu)點(diǎn)：

(1) 它很容易在物理世界中實(shí)現(xiàn)和部署。例如，攻擊者可以利用 3D 建模構(gòu)建這類障礙物，并進(jìn)行 3D 打印。目前市面上有很多在線 3D 打印服務(wù)，攻擊者甚至不需要擁有 3D 打印設(shè)備；

(2) 它可以通過(guò)模仿能合法出現(xiàn)在道路上的正常交通障礙物，如交通錐或障礙物（如石頭），并偽裝為比較常見(jiàn)的磨損或破損的外觀，實(shí)現(xiàn)高度隱蔽性（如圖 1）。

圖1：生活中路面可能出現(xiàn)的形狀奇怪或破損的物體

為了使其既容易部署又能造成嚴(yán)重的碰撞，攻擊者可以選擇較小的障礙物，如巖石或交通錐，但用花崗巖甚至金屬填充，使其更硬更重。例如，一塊 0.5 立方米的石頭或一個(gè) 1 米高的交通錐，里面填充一些鋁，很容易超過(guò) 100 公斤，如果汽車在高速行駛時(shí)撞到，有底盤損壞、撞碎擋風(fēng)玻璃甚至失去控制的風(fēng)險(xiǎn)。另外，攻擊者還可以利用某些道路障礙物的功能（如交通錐作為標(biāo)識(shí)的功能）。例如攻擊者可以設(shè)計(jì)一種僅針對(duì)無(wú)人車的攻擊，將釘子或玻璃碎片放在生成的惡意交通錐障礙物后面，這樣，人類駕駛員能夠正常識(shí)別交通錐并繞行，而無(wú)人車則會(huì)忽視交通錐然后爆胎。在這里，安全損害并不是需要由碰撞交通錐體本身造成的，因此在這種情況下，惡意的交通錐體可以像普通交通錐體一樣小而輕，以使其更容易 3D 打印、攜帶和部署。

為了評(píng)估這一漏洞的嚴(yán)重性，我們?cè)O(shè)計(jì)了 MSF-ADV 攻擊，它可以在給定的基于多傳感器融合的無(wú)人車感知算法中自動(dòng)生成上述的惡意的 3D 障礙，創(chuàng)新性設(shè)計(jì)可提升攻擊的有效性、魯棒性、隱蔽性和現(xiàn)實(shí)生活中的可實(shí)現(xiàn)性（如圖 2）。我們選擇了 3 種障礙物類型（交通錐、玩具車和長(zhǎng)椅）進(jìn)行測(cè)試，并在真實(shí)世界的駕駛數(shù)據(jù)上進(jìn)行評(píng)估。我們的結(jié)果顯示，在不同的障礙物類型和多傳感器融合算法中，我們的攻擊實(shí)現(xiàn)了 >=91% 的成功率。

我們還發(fā)現(xiàn)，我們的攻擊是（1）基于用戶研究，從駕駛者的角度看是隱蔽的；（2）對(duì)不同的被攻擊車的位置和角度具有魯棒性，平均成功率 > 95%；（3）制作出來(lái)的惡意的 3D 障礙物可以有效轉(zhuǎn)移并用于攻擊其他 MSF 算法，平均轉(zhuǎn)移攻擊成功率約 75%。

圖 2：基于優(yōu)化的惡意的 3D 物體生成概述。

為了了解攻擊在物理世界中的可實(shí)現(xiàn)性和嚴(yán)重性，我們 3D 打印了生成的惡意障礙物（圖 3），并在使用了多傳感器融合感知得真車上進(jìn)行評(píng)估。圖 4 是我們使用的裝配了 LiDAR 和 camera 的測(cè)試車輛。我們發(fā)現(xiàn)惡意的障礙物可以在總共 108 個(gè)傳感器幀中的 107 幀中（99.1%）成功躲過(guò)多傳感器融合的檢測(cè)。在一個(gè)微縮模型的實(shí)驗(yàn)環(huán)境中（圖 5），我們發(fā)現(xiàn)我們的惡意的障礙物在不同的隨機(jī)抽樣位置有 85-90% 的成功率逃避多傳感器融合感知的檢測(cè)，而且這種有效性可以轉(zhuǎn)移。

圖 3: 3D 打印出來(lái)的惡意障礙物

圖 4: 安裝 LiDAR 和 camera 的真車設(shè)置和檢測(cè)結(jié)果 （攻擊演示視頻：_https://www.youtube.com/watch?v=N96L53bIPdM&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=3_ ）

圖 5: 微縮模型的實(shí)驗(yàn)環(huán)境和檢測(cè)結(jié)果 （攻擊演示視頻：_https://www.youtube.com/watch?v=VLUW6yqyGKo&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=2_ ）

為了了解端到端的安全影響，我們使用產(chǎn)品級(jí)的無(wú)人車模擬器 LGSVL 進(jìn)一步評(píng)估 MSF-ADV（圖 6）。在 100 次運(yùn)行中，我們的惡意的交通錐對(duì) Apollo 的無(wú)人車造成 100% 的車輛碰撞率。相比之下，正常交通錐體的碰撞率為 0%。

圖 6: Apollo 和 LGSVL 在端到端攻擊評(píng)估的截圖 （攻擊演示視頻：_https://www.youtube.com/watch?v=ph4FppYVc5U&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=4_）

多傳感器融合不是自動(dòng)駕駛安全的萬(wàn)全之策

這項(xiàng)研究的主要貢獻(xiàn)是讓大家意識(shí)到多傳感器融合感知同樣存在安全問(wèn)題。很多前人工作事實(shí)上把多傳感器融合當(dāng)做對(duì)于單個(gè)傳感器攻擊的有效防御手段，但是之前卻并沒(méi)有文章去系統(tǒng)性的探究這一點(diǎn)。我們的工作填補(bǔ)了這一個(gè)關(guān)鍵的知識(shí)空白，證明其實(shí)并不完全是這么一回事。我們生成的 3D 惡意的障礙物可以讓多傳感器融合感知系統(tǒng)失效，從而導(dǎo)致無(wú)人車撞到這種物體上并造成交通事故。

我們認(rèn)為比較切實(shí)可行的防御手段是去融合更多的感知源，比如說(shuō)更多的不同位置的 camera 和 LiDAR，或者考慮加入 RADAR。但是這不能從根本上防御 MSF-ADV，只能是說(shuō)讓 MSF-ADV 生成過(guò)程更加困難。我們已經(jīng)就這個(gè)漏洞聯(lián)系了 31 家自動(dòng)駕駛公司，同時(shí)建議它們應(yīng)用這些緩解手段。我們覺(jué)得不論是研究者還是自動(dòng)駕駛公司都需要投多更多精力去系統(tǒng)性地探究自動(dòng)駕駛里的的安全問(wèn)題。

其他問(wèn)題：

為了實(shí)現(xiàn)同樣的攻擊目標(biāo)，為什么攻擊者不能直接向無(wú)人車扔石頭或者直接在無(wú)人車前面放釘子或玻璃碎片？

我們是計(jì)算機(jī)安全研究人員，所以我們的目標(biāo)是研究特定于計(jì)算機(jī)技術(shù)（在我們的例子中指的是自動(dòng)駕駛）的安全漏洞。我們的最終目標(biāo)是在計(jì)算機(jī)技術(shù)層面修復(fù)它們。扔石頭、放釘子或玻璃碎片并不是針對(duì)于無(wú)人駕駛這種特定技術(shù)的攻擊，非無(wú)人駕駛車輛也會(huì)受到損害，同時(shí)這樣的研究也無(wú)助于暴露出無(wú)人駕駛技術(shù)中的安全隱患相比之下，我們的惡意的障礙物可以被人眼正確識(shí)別出來(lái)，但無(wú)人車系統(tǒng)卻無(wú)法正確識(shí)別，這個(gè)才是我們需要研究的技術(shù)問(wèn)題。通過(guò)發(fā)現(xiàn)和解決此類問(wèn)題，無(wú)人車技術(shù)可以更好地接近人類駕駛的水平和性能，從而實(shí)現(xiàn)無(wú)人車技術(shù)的最終目標(biāo)：代替人類駕駛。

一般車上都有的緊急剎車系統(tǒng)可以防御這種攻擊嗎？

緊急剎車系統(tǒng)可以減輕它的的風(fēng)險(xiǎn)，但既不能完全防止此類攻擊，也不能消除防御攻擊的需要。首先，無(wú)人車系統(tǒng)必須設(shè)計(jì)為能夠自行處理盡可能多的安全隱患，而不是完全依賴緊急剎車系統(tǒng)。緊急剎車系統(tǒng)僅設(shè)計(jì)為緊急情況或者備用安全保護(hù)措施；_它永遠(yuǎn)也不應(yīng)該用來(lái)代替無(wú)人車警覺(jué)性_ (https://www.motortrend.com/news/automatic-emergency-braking/)。就像司機(jī)駕駛一樣，沒(méi)有人完全依賴緊急剎車系統(tǒng)來(lái)確保安全；我們必須始終保持謹(jǐn)慎并盡可能的主動(dòng)做出安全決策，然后僅依靠緊急剎車系統(tǒng)作為在極端情況下盡力而為的后備保護(hù)。因此，我們必須要想辦法在無(wú)人車系統(tǒng)級(jí)別上解決這種漏洞。

其次，現(xiàn)如今的無(wú)人剎車系統(tǒng)本身際上遠(yuǎn)非完美，并且可能具有很高的漏報(bào)率。例如，_AAA 報(bào)告稱，很多車（例如雪佛蘭邁銳寶、本田雅閣、特斯拉 Model 3 和豐田凱美瑞）的緊急剎車系統(tǒng)故障率為 60%_ (https://www.zdnet.com/article/does-your-car-have-automated-emergency-braking-its-a-big-fail-for-pedestrians/)。此外，即使無(wú)人車的緊急剎車系統(tǒng)能夠成功緊急停車，但是也無(wú)法避免無(wú)人車被后面的車追尾。

我們有對(duì)無(wú)人車公司進(jìn)行漏洞報(bào)告嗎？他們是怎么答復(fù)的？

截至 2021 年 5 月 18 日，我們對(duì) 31 家開發(fā)或者測(cè)試無(wú)人車的公司進(jìn)行了漏洞報(bào)告，其中 19 家（約 61%）已經(jīng)回復(fù)了我們。根據(jù)答復(fù)，大多數(shù)公司目前都在調(diào)查它們是否會(huì)受到影響以及受到的影響程度。有些公司已經(jīng)與我們開會(huì)討論他們的調(diào)查。

本次研究作者團(tuán)隊(duì)，來(lái)自加州大學(xué)爾灣分校、密西根大學(xué)安娜堡分校，亞利桑那州立大學(xué)，伊利諾伊大學(xué)厄巴納 - 香檳分校，英偉達(dá) Research，中國(guó)百度深度學(xué)習(xí)技術(shù)與應(yīng)用研究和國(guó)家工程實(shí)驗(yàn)室，嬴徹科技，一共有 9 名研究人員。四位同等貢獻(xiàn)第一作者來(lái)自加州大學(xué)爾灣分校，密西根大學(xué)安娜堡分校，亞利桑那州立大學(xué)和英偉達(dá) Research，分別是 Ningfei Wang, Yulong Cao, Chaowei Xiao 和 Dawei Yang。三位教授分別是 Qi Alfred Chen, Mingyan Liu, Bo Li。以及兩位來(lái)自于百度和嬴徹科技的研究人員，分別是 Jin Fang 和 Ruigang Yang。

項(xiàng)目網(wǎng)站：_https://sites.google.com/view/cav-sec/msf-adv_ (https://sites.google.com/view/cav-sec/msf-adv)