視覺(jué)方案做ADAS，單目和雙目到底有什么差別？

目前視覺(jué)方案做ADAS既有雙目也有單目，兩者在距離檢測(cè)上用了不同的技術(shù)路線，產(chǎn)品化時(shí)也存在各自優(yōu)缺點(diǎn)，對(duì)此作者談了談自己的看法。本文作者姜安，為中科慧眼CTO。

ADAS功能的第一步是感知，也就是觀察車輛周邊負(fù)責(zé)的路況環(huán)境。在這個(gè)基礎(chǔ)上才能做出相應(yīng)的路徑規(guī)劃和駕駛行為決策。目前感知所采用的傳感器包含各種形式的雷達(dá)、單目攝像頭、雙目攝像頭等，或是由這些傳感器進(jìn)行不同組合形成的感知系統(tǒng)，而這些傳感器件各有利弊，傳感器融合是大勢(shì)所趨。

在這其中，攝像頭不可或缺，可以通過(guò)采集前方道路圖像，實(shí)現(xiàn)車道線障礙物以及行人檢測(cè)ADAS功能。關(guān)于ADAS攝像頭選用有哪些講究？單雙目方案存在哪些差異？在此談一談我的看法。

ADAS攝像頭成像哪些要求？

根據(jù)ADAS檢測(cè)需要，攝像頭在選擇時(shí)需要具備下面2個(gè)特點(diǎn)：

一是要看得足夠遠(yuǎn)。看的越遠(yuǎn)就能有更加充裕的時(shí)間做出判斷和反應(yīng)，從而避免或者降低事故發(fā)生造成的損失。這類攝像頭關(guān)注的參數(shù)是焦距，焦距越長(zhǎng)看的會(huì)越遠(yuǎn)。但是焦距越長(zhǎng)，帶來(lái)的問(wèn)題是視角越窄，所以需要折衷考慮。

二是要求高動(dòng)態(tài)。選用具有高動(dòng)態(tài)范圍的黑白相機(jī)，可以有效抑制光暈現(xiàn)象，并增強(qiáng)暗處的細(xì)節(jié)，從而提高成像質(zhì)量。另外，彩色圖像在鏡頭表面進(jìn)行了鍍膜，雖然提升了人眼的感知體驗(yàn)，但實(shí)際上降低了信噪比或者說(shuō)信息量。這對(duì)后續(xù)的圖像處理不利。

根據(jù)這些要求，很容易發(fā)現(xiàn)目前行業(yè)里的一種炒作現(xiàn)象。很多車上使用的智能硬件多是行車記錄儀、云鏡等產(chǎn)品，會(huì)在原來(lái)成像系統(tǒng)的基礎(chǔ)上添加ADAS功能，其實(shí)只是廠家賺取噱頭的方式。

因?yàn)樾熊囉涗泝x的目的是記錄車輛周邊的狀況，看的越清晰越好、越全面越好，即“人友好”。這就需要成像系統(tǒng)具有超高的分辨率、超好的色彩還原性、超大的廣角鏡頭，視角增大意味著焦距的縮小。這與ADAS對(duì)成像系統(tǒng)的要求截然相反，ADAS要求的圖像質(zhì)量是“機(jī)器友好”，因此在行車記錄儀的成像系統(tǒng)基礎(chǔ)上開(kāi)發(fā)ADAS功能是不切實(shí)際的。目前很多號(hào)稱有ADAS功能的行車記錄儀，一般都只有車道線檢測(cè)這一個(gè)功能。有的雖然有別的如碰撞預(yù)警的功能，但是用戶體驗(yàn)極差。

單/雙目的測(cè)距原理區(qū)別

目前攝像頭ADAS有單目和雙目?jī)煞N方案，兩者的共同特點(diǎn)，就是通過(guò)攝像頭采集圖像數(shù)據(jù)，然后從圖像數(shù)據(jù)上得到距離信息。ADAS一個(gè)很重要的作用是碰撞預(yù)警。碰撞預(yù)警需要關(guān)注距離的變化，需要估計(jì)即將碰撞的時(shí)間。有了距離測(cè)量，才會(huì)有距離變化，有距離變化才會(huì)有碰撞時(shí)間的估計(jì)，最后才會(huì)有預(yù)警。

單目攝像頭的大致測(cè)距原理，是先通過(guò)圖像匹配進(jìn)行目標(biāo)識(shí)別（各種車型、行人、物體等），再通過(guò)目標(biāo)在圖像中的大小去估算目標(biāo)距離。這就要求在估算距離之前首先對(duì)目標(biāo)進(jìn)行準(zhǔn)確識(shí)別，是汽車還是行人，是貨車、SUV還是小轎車。準(zhǔn)確識(shí)別是準(zhǔn)確估算距離的第一步。

要做到這一點(diǎn)，就需要建立并不斷維護(hù)一個(gè)龐大的樣本特征數(shù)據(jù)庫(kù)，保證這個(gè)數(shù)據(jù)庫(kù)包含待識(shí)別目標(biāo)的全部特征數(shù)據(jù)。比如在一些特殊地區(qū)，為了專門(mén)檢測(cè)大型動(dòng)物，必須先行建立大型動(dòng)物的數(shù)據(jù)庫(kù)；而對(duì)于另外某些區(qū)域存在一些非常規(guī)車型，也要先將這些車型的特征數(shù)據(jù)加入到數(shù)據(jù)庫(kù)中。

如果缺乏待識(shí)別目標(biāo)的特征數(shù)據(jù)，就會(huì)導(dǎo)致系統(tǒng)無(wú)法對(duì)這些車型、物體、障礙物進(jìn)行識(shí)別，從而也就無(wú)法準(zhǔn)確估算這些目標(biāo)的距離。導(dǎo)致ADAS系統(tǒng)的漏報(bào)。

而雙目檢測(cè)的方式就是通過(guò)對(duì)兩幅圖像視差的計(jì)算，直接對(duì)前方景物（圖像所拍攝到的范圍）進(jìn)行距離測(cè)量，而無(wú)需判斷前方出現(xiàn)的是什么類型的障礙物。所以對(duì)于任何類型的障礙物，都能根據(jù)距離信息的變化，進(jìn)行必要的預(yù)警或制動(dòng)。

雙目攝像頭的原理與人眼相似。人眼能夠感知物體的遠(yuǎn)近，是由于兩只眼睛對(duì)同一個(gè)物體呈現(xiàn)的圖像存在差異，也稱“視差”。物體距離越遠(yuǎn)，視差越小；反之，視差越大。視差的大小對(duì)應(yīng)著物體與眼睛之間距離的遠(yuǎn)近，這也是3D電影能夠使人有立體層次感知的原因。

圖中的人和椰子樹(shù)，人在前，椰子樹(shù)在后，最下方是雙目相機(jī)中的成像。可以看出右側(cè)相機(jī)成像中人在樹(shù)的左側(cè)，左側(cè)相機(jī)成像中人在樹(shù)的右側(cè)，這是因?yàn)殡p目的角度不一樣。再通過(guò)對(duì)比兩幅圖像就可以知道人眼觀察樹(shù)的時(shí)候視差小。而觀察人時(shí)視差大，因?yàn)闃?shù)的距離遠(yuǎn)，人的距離近。這就是雙目三角測(cè)距的原理。雙目系統(tǒng)對(duì)目標(biāo)物體距離感知是一種絕對(duì)的測(cè)量，而非估算。

單/雙目方案的優(yōu)勢(shì)與難點(diǎn)

單目的優(yōu)勢(shì)在于成本較低，對(duì)計(jì)算資源的要求不高，系統(tǒng)結(jié)構(gòu)相對(duì)簡(jiǎn)單。其缺點(diǎn)在于必須不斷更新和維護(hù)一個(gè)龐大的樣本數(shù)據(jù)庫(kù)，才能保證系統(tǒng)達(dá)到較高的識(shí)別率；無(wú)法對(duì)非標(biāo)準(zhǔn)障礙物進(jìn)行判斷；距離并非真正意義上的測(cè)量，準(zhǔn)確度較低。

雙目系統(tǒng)成本比單目系統(tǒng)要高，但尚處于可接受范圍內(nèi)，并且與激光雷達(dá)等方案相比成本較低；二是沒(méi)有識(shí)別率的限制，因?yàn)閺脑砩蠠o(wú)需先進(jìn)行識(shí)別再進(jìn)行測(cè)算，而是對(duì)所有障礙物直接進(jìn)行測(cè)量；三是精度比單目高，直接利用視差計(jì)算距離；四是無(wú)需維護(hù)樣本數(shù)據(jù)庫(kù)，因?yàn)閷?duì)于雙目沒(méi)有樣本的概念。

雙目系統(tǒng)的一個(gè)難點(diǎn)在于計(jì)算量非常大，對(duì)計(jì)算單元的性能要求非常高，這使得雙目系統(tǒng)的產(chǎn)品化、小型化的難度較大。所以在芯片或FPGA上解決雙目的計(jì)算問(wèn)題難度比較大。國(guó)際上使用雙目的研究機(jī)構(gòu)或廠商，絕大多數(shù)是使用服務(wù)器來(lái)進(jìn)行圖像處理與計(jì)算的；也有部分將算法進(jìn)行簡(jiǎn)化后，使用FPGA進(jìn)行處理。目前，中科慧眼在芯片上的計(jì)算效率已經(jīng)達(dá)到15fps，在FPGA+ARM架構(gòu)上的計(jì)算效率達(dá)到了40fps。

另一個(gè)難點(diǎn)在于雙目的配準(zhǔn)效果。通過(guò)雙目攝像頭的圖像配準(zhǔn)可以計(jì)算生成表示距離的二維圖像。下圖是中科慧眼雙目方案對(duì)實(shí)際場(chǎng)景信息采集與計(jì)算得到的距離的對(duì)應(yīng)關(guān)系，不同飽和度顏色代表不同距離，從暖色調(diào)至冷色調(diào)為距離由近及遠(yuǎn)。在計(jì)算過(guò)程中，需要對(duì)噪點(diǎn)與空洞做很好的抑制。從右圖可以看出，色調(diào)（距離）是平滑過(guò)渡，沒(méi)有跳變。

△中科慧眼距離計(jì)算獲得的二維圖像

一些FPGA方案中有很多噪點(diǎn)與空洞，對(duì)后續(xù)計(jì)算不利，存在安全風(fēng)險(xiǎn)。對(duì)于小障礙物的識(shí)別，既要做到?jīng)]有雜點(diǎn)和空洞，又要表現(xiàn)細(xì)節(jié)。否則比如一條橫著的欄桿無(wú)法識(shí)別，會(huì)增加駕駛的風(fēng)險(xiǎn)。下面的圖表現(xiàn)的是小物體和行人的探測(cè)上中科慧眼雙目方案與國(guó)際上其他算法的對(duì)比。

△Our為中科慧眼算法小障礙物的雙目配準(zhǔn)效果，其它為國(guó)際流行傳統(tǒng)方法的處理效果

小結(jié)

因?yàn)闄z測(cè)原理上的差異，雙目攝像頭在距離測(cè)算上相比單目有自己的特點(diǎn)，其硬件成本和計(jì)算量級(jí)的加倍，是難關(guān)也是突破口。就像谷歌自動(dòng)駕駛汽車不斷積累大量的經(jīng)驗(yàn)和使用數(shù)據(jù)，才可能一步步積累實(shí)現(xiàn)自動(dòng)駕駛。中科慧眼的雙目產(chǎn)品目前完成了樣機(jī)，也正在進(jìn)行大規(guī)模路測(cè)。從產(chǎn)品理論技術(shù)原型走到真正被用戶接受的產(chǎn)品，還有很長(zhǎng)的路要走。