【技術(shù)講座】用一個(gè)攝像頭使汽車不碰撞

※ 照片上的攝像頭配備位置是示意圖，不符合日本的安全標(biāo)準(zhǔn)。日本國土交通省安全標(biāo)準(zhǔn)“第29條第4款中的第195條第5款”對攝像頭安裝位置做了規(guī)定，要求攝像頭與前窗上下端的距離為窗高20％以內(nèi)，或者被后視鏡遮擋的位置。

說到使用攝像頭的汽車防碰撞系統(tǒng)，在日本最有名的是富士重工的“EyeSight”。但還有一家企業(yè)，在該市場掌握著全球70％的份額，那就是只用1個(gè)攝像頭就實(shí)現(xiàn)了防碰撞系統(tǒng)的Mobileye。該公司的總部雖然設(shè)在荷蘭，但在以色列開發(fā)基地?fù)碛卸噙_(dá)300名的技術(shù)人員。在本文中，該公司的研發(fā)負(fù)責(zé)人將為您介紹這家被全世界汽車廠商關(guān)注的公司的現(xiàn)狀，以及以圖像識別為中心的技術(shù)內(nèi)容。

我們開發(fā)的使用單眼攝像頭的汽車后裝防碰撞報(bào)警系統(tǒng)“MobileyeC2-270”已經(jīng)銷往了世界42個(gè)國家。在日本，2011年開始提供面向企業(yè)的銷售和安裝服務(wù)，面向個(gè)人的服務(wù)也已于2012年4月啟動（注1）。

（注1）在日本，Mobileye的汽配產(chǎn)品由i-mobile公司銷售。該公司成立于2011年7月，是日本進(jìn)口Mobileye產(chǎn)品的總代理。包括安裝費(fèi)在內(nèi)，“Mobileye C2-270”的價(jià)格為13.5萬日元。

在使用攝像頭的防碰撞系統(tǒng)中，富士重工號稱“不撞的汽車”的“Eye-Sight”在日本最為著名。這項(xiàng)技術(shù)使用兩個(gè)攝像頭檢測車輛和行人，還具備發(fā)出報(bào)警后自動停車功能。

但縱觀全世界，在使用攝像頭的防碰撞系統(tǒng)市場上，Mobileye以70％以上的份額雄踞榜首。我們最早從事的是以歐洲汽車廠商為中心供應(yīng)單眼攝像頭圖像處理SoC的業(yè)務(wù)，之后，在2006年創(chuàng)立了自行組裝最終產(chǎn)品并在汽配市場上銷售的業(yè)務(wù)。

我們開發(fā)的圖像處理SoC“EyeQ2”已經(jīng)被應(yīng)用到了德國寶馬新款“1系”的防碰撞報(bào)警功能和瑞典沃爾沃的系統(tǒng)之中。此外還被美國通用汽車（GM）和美國福特汽車等世界主要汽車廠商采用（表1）。最近，我們還在與日本企業(yè)合作進(jìn)行開發(fā)。

5種警示功能

Mobileye C2-270的主要功能包括與前方車輛和行人碰撞警示、車道偏離警示、車距警示（圖1）。不僅能通過蜂鳴聲報(bào)警，還能通過顯示裝置向駕駛員報(bào)警。具體的報(bào)警功能包括以下5種：（1）前方車距監(jiān)測與警示（HMW）；（2）前方車輛碰撞警示（FCW）；（3）低速時(shí)前方車輛碰撞警示（UFCW）；（4）行人碰撞警示（PCW）；（5）車道偏離警示（LDW）。

圖1：警示5種危險(xiǎn)
通過視覺信息發(fā)出警示的顯示裝置能夠通過秒數(shù)顯示車距（車距/秒速），以及前方車輛、行人和車道偏。

（1）前方車距監(jiān)測與警示，顯示的是本車與前車的車距除以本車秒速得到的數(shù)值。當(dāng)與前車的車距距小于2.5秒時(shí)，顯示器將顯示車距的秒數(shù)。當(dāng)車距小于事先設(shè)定的秒數(shù)時(shí)，代表車輛的圖標(biāo)將變成紅色，并鳴響“嗶”的警報(bào)蜂鳴聲。檢測距離最遠(yuǎn)為90m左右。

（2）前方車輛碰撞警示，在碰撞可能發(fā)生之前2.7秒，車輛圖標(biāo)將變成紅色，同時(shí)大聲發(fā)出“嗶嗶嗶嗶”的警報(bào)，提醒駕駛員踩剎車。

（3）低速時(shí)前方車輛碰撞警示，也叫做虛擬保險(xiǎn)杠。事先在自車保險(xiǎn)杠前方1～2m處設(shè)定虛擬保險(xiǎn)杠，在時(shí)速低于30km以下的情況下，當(dāng)前方車輛接近到觸碰虛擬保險(xiǎn)杠的距離時(shí)，鳴響“嗶、嗶”的警報(bào)聲。其作用是防止堵車和等紅綠燈時(shí)發(fā)生碰撞。

（4）行人碰撞警示，該功能在檢測到前方30m以內(nèi)有行人時(shí)，首先會靜默地點(diǎn)亮紅色的行人標(biāo)志，在行人進(jìn)入危險(xiǎn)距離，可能發(fā)生碰撞的2秒前發(fā)出“嗶-嗶-”的蜂鳴聲。

（5）車道偏離警示，當(dāng)汽車時(shí)速達(dá)到55km/h以上，無意偏離車道時(shí)，顯示器將顯示偏離一側(cè)車道的標(biāo)志，同時(shí)發(fā)出“嘟嘟嘟嘟嘟嘟嘟”的警告聲。如果是打開轉(zhuǎn)向燈變更車道，則判斷為有意偏離車道，不會發(fā)出報(bào)警聲也不會顯示圖標(biāo)。

如上所述，由于每種警示的報(bào)警聲各不相同，因此在熟悉之后，駕駛員無需查看顯示裝置，根據(jù)聲音即可判斷出警示的種類。

事故預(yù)防率接近100％

我們的碰撞報(bào)警系統(tǒng)在減少交通事故數(shù)量上的效果已經(jīng)得到了驗(yàn)證。調(diào)查由瑞士豐泰保險(xiǎn)公司（AXA Winterthur）實(shí)施。保險(xiǎn)公司也希望通過為汽車安裝防碰撞系統(tǒng)減少事故，削減事故賠償?shù)谋ｋU(xiǎn)金數(shù)額。

此次調(diào)查揭示了發(fā)覺危險(xiǎn)后踩剎車的時(shí)間與事故發(fā)生率之間的關(guān)系（圖2）。調(diào)查結(jié)果顯示，對于前方碰撞，如果能夠提前2.0秒察覺到危險(xiǎn)并通知駕駛員，基本可以100％防止事故發(fā)生。鑒于這一情況，AXA等歐洲各大保險(xiǎn)公司都推出了以配備本公司的防碰撞報(bào)警系統(tǒng)為條件的保費(fèi)打折活動。

圖2：只要在2秒之前發(fā)出報(bào)警，事故發(fā)生率基本可以降到零
如果在發(fā)生事故的0.5秒之前發(fā)出報(bào)警，碰撞的概率為35％以上，如果提前2秒以上，絕大多數(shù)事故都可以得到預(yù)防。（圖：《日經(jīng)電子》根據(jù)豐泰保險(xiǎn)的資料制作）

防碰撞報(bào)警系統(tǒng)其實(shí)也有助于提升駕駛技術(shù)（注2）。在剛安裝的時(shí)候，報(bào)警聲經(jīng)常響個(gè)不停，過上幾周，報(bào)警次數(shù)便會驟降到一半以下（圖3）。因?yàn)橐坏{駛出現(xiàn)差錯，系統(tǒng)馬上就會通過聲音和顯示通知駕駛員，使其自然而然地掌握正確的駕駛方式。這不僅有助于提高駕駛水平，對于提升燃效也貢獻(xiàn)頗大。（特約撰稿人：Gideon Stein，荷蘭Mobileye公司Chief Research Scientist；實(shí)川裕敏，i-mobile技術(shù)及售后負(fù)責(zé)人）

圖3：3周內(nèi)報(bào)警次數(shù)減半
可口可樂歐洲集團(tuán)的配送車自從安裝Mobileye的防碰撞報(bào)警系統(tǒng)后，駕駛員的駕駛水平顯著提高。

（注2）還有其他事例可以驗(yàn)證防碰撞報(bào)警系統(tǒng)的有效性。例如，美國某運(yùn)輸公司驗(yàn)證并比較了是否安裝Mobileye系統(tǒng)對于交通事故成本的影響。結(jié)果顯示，每行駛100英里（160km），未配備車的事故率比配備車高1.4倍。如果換算成事故造成的損失費(fèi)，配備防碰撞系統(tǒng)大約可以削減130萬日元。

適合小型、低成本化

　　實(shí)現(xiàn)防碰撞報(bào)警系統(tǒng)的方法并非只有我們采用的單眼攝像頭方式（表2）。此前的防碰撞報(bào)警系統(tǒng)大多使用毫米波雷達(dá)和激光雷達(dá)，但這種系統(tǒng)需要與車輛一體化開發(fā)，而且安裝車型有限，在價(jià)格方面，毫米波雷達(dá)更是價(jià)格高昂。

　　利用攝像頭的方式還有富士重工為EyeSight采用的立體攝像頭方式。與毫米波雷達(dá)方式相比，這種方式的優(yōu)點(diǎn)在于能夠降低系統(tǒng)的成本，而且還能開發(fā)出汽車后裝產(chǎn)品。

　　我們公司從1999年創(chuàng)建之初開始，一直致力于開發(fā)單眼攝像頭方式，目的是為了實(shí)現(xiàn)小型化、低成本化及系統(tǒng)簡潔化。與采用立體攝像頭的方式相比，可檢測的距離雖然偏短，但我們認(rèn)為通過改進(jìn)圖像處理技術(shù)可以縮小差距。這是與其他公司形成差異最重要的項(xiàng)目，也是我們傾力開發(fā)的核心技術(shù)。

　　系統(tǒng)簡潔化是向汽配市場推出產(chǎn)品時(shí)必不可少的要素。為了提高檢測性能，使用攝像頭的防碰撞系統(tǒng)必須在安裝時(shí)對攝像頭位置進(jìn)行輸入和校正。立體攝像頭必須仔細(xì)調(diào)節(jié)2個(gè)攝像頭之間的距離和安裝角度。如果把攝像頭數(shù)量減少到1個(gè)，就能夠減少校正作業(yè)耗費(fèi)的時(shí)間和勞力。

改進(jìn)硬件，采用黑白攝像元件

　　C2-270由攝像頭單元、顯示裝置和電纜盒構(gòu)成。電纜盒使用CAN總線等從車輛讀取速度、制動器、雨刷、方向指示器、遠(yuǎn)光燈的信號。

　　C2-270除了攝像頭單元和攝像元件之外，還內(nèi)置了核心部分——圖像處理SoC（圖4）。配備的CMOS圖象傳感器采用的是美國AptinaImaging公司生產(chǎn)的分辨率為VGA（640×480像素）的“MT9V024”。CMOS為1/3英寸，像素間距為6.0μm。視角為水平38度×垂直30度。鏡頭的焦距（f）為5.7mm，光圈為F=1.6。

圖4：簡單的部件構(gòu)成
“C2-270”的攝像頭單元部件數(shù)量少，圖像處理SoC“EyeQ2”占據(jù)了很大的安裝面積。

　　采用的CMOS圖象傳感器為黑白產(chǎn)品，能夠檢測到與月圓之夜相當(dāng)、亮度在0.1lx以下的光線。我們自主開發(fā)的曝光調(diào)整技術(shù)能夠優(yōu)化控制每個(gè)場景的曝光。這是因?yàn)樽R別車道線、車輛、標(biāo)識時(shí)的最佳曝光數(shù)值各不相同。

　　除此之外，C2-270還做了其他改進(jìn)，能夠把感光度分成3個(gè)階段，以3幀為1組進(jìn)行拍攝。在黑暗環(huán)境下，首先提高感光度捕捉遠(yuǎn)處的光線，然后逐漸降低感光度，捕捉極近距離的光線。攝像頭本身的拍攝速度雖然為每秒60幀，但在處理時(shí)，是按照每秒約15幀的速度進(jìn)行處理。

可以并行處理七個(gè)任務(wù)

圖像處理SoC——EyeQ2配備了2個(gè)美國美普思科技（MIPS Technologies）的32bit CPU內(nèi)核“MIPS 24Kf”（圖5）。該CPU的工作頻率為332MHz，還配備了8個(gè)用于圖像處理的64bit編解碼引擎（VCE：video codec engines），同時(shí)可以并行處理七個(gè)任務(wù)。

圖5：配備兩個(gè)CPU內(nèi)核
圖像處理SoC “EyeQ2”的結(jié)構(gòu)示意圖。CPU內(nèi)核采用了支持多線程功能的“MIPS 24Kf”。

　　在接通電源的狀態(tài)下，C2-270的攝像頭將一直監(jiān)控前方視野，同時(shí)持續(xù)地識別進(jìn)入視野的車輛、行人、車道線。因此，具備高速處理性能的圖像處理SoC必不可少。在開發(fā)之初，我們曾經(jīng)采用了某大型半導(dǎo)體廠商生產(chǎn)的通用圖像處理器，但處理性能不足很快就體現(xiàn)了出來。因此，我們一改過去只開發(fā)軟件的體制，開始開發(fā)硬件，也就是專用于預(yù)防碰撞系統(tǒng)的圖像處理器。

軟件是關(guān)鍵，根據(jù)三個(gè)特征判定車輛

　　EyeQ2實(shí)際上能夠同時(shí)處理汽車預(yù)防式安全系統(tǒng)和防撞輔助系統(tǒng)所必須的以下檢測（圖6）：（1）前方車輛、（2）車道線、（3）與前方車輛的距離、（4）與前方車輛的相對速度和相對加速度、（5）車道內(nèi)的前方車輛、（6）彎道、（7）行人。

圖6：檢測車輛和車道線
通過檢測車輛和車道線提高了報(bào)警精度，可區(qū)分同一車道內(nèi)的車輛及其他車道的車輛。

關(guān)于（1）車輛檢測，識別車輛依照的是對三個(gè)特征的檢測，分別是車輛后部的矩形檢測、后輪檢測、2個(gè)尾燈的檢測（圖7）。系統(tǒng)將通過比對預(yù)先保存的幾十種車輛形狀的圖案，判斷前方物體是否為汽車。如果是汽車，系統(tǒng)可以判斷出后輪輪胎的位置。而尾燈則是夜晚重要的檢測要素。

圖7：捕捉車輛后方的特征
通過檢測長方形或正方形的車輛后部以及2個(gè)輪胎、尾燈，判斷前方物體為車輛。

在識別車輛時(shí)，CMOS傳感器上的車寬需要達(dá)到13個(gè)像素以上，這相當(dāng)于與車寬為1.6m的車輛相距115m。從CMOS傳感器的性能來看，前方的識別限度約為90m。

單眼攝像頭也能測量距離

　　（2）車道線的檢測數(shù)據(jù)將用于車距監(jiān)測及警示、前方車輛碰撞警示。50m遠(yuǎn)的寬度為10cm的車道線在CMOS傳感器上相當(dāng)于2個(gè)像素。系統(tǒng)將從攝像頭圖像中識別出車道線，根據(jù)攝像頭的視野和在前窗上安裝的位置等信息計(jì)算出車道線的寬度及其與車輛的相對位置，利用卡爾曼濾波器推測車道線。

　?。?）與前方車輛的距離是利用“遠(yuǎn)近法原理”計(jì)算得出的（圖8）。其原理如下，因?yàn)閿z像頭的地面高度（H）已知，所以，路面上前方車輛接觸地面的位置比水平面上無限遠(yuǎn)的一點(diǎn)（延伸焦點(diǎn)，F(xiàn)OE：focusof expansion）略低幾度。

圖8：車距檢測的原理
單眼攝像頭檢測車距利用“遠(yuǎn)近法原理”。事先測量出攝像頭的地面高度H，根據(jù)關(guān)系公式計(jì)算出距離Z。

映射到攝像頭內(nèi)部的CMOS傳感器上的圖像的高度（y）隨與前車（后輪輪胎與道路的接觸面）的距離而變化。攝像頭的焦距（f）同樣為已知條件。按照“H：Z＝y(tǒng)：f”計(jì)算，即可求出與前車的距離Z。而且，距離碰撞的時(shí)間也可以根據(jù)“Z/相對速度”的公式求出。

攻克檢測行人這一難題

與車輛的識別相比，（7）行人檢測的難度要大得多。行人不同于車輛，動作、服裝、身體各部分的變化要素很多，而且還需要與街上的建筑、汽車、電線桿、樹木等背景圖案區(qū)分開來。

　　為了在有人走向行駛車道時(shí)盡可能縮小檢測延遲，對于車道外行人的檢測必不可少。因此可以容許出現(xiàn)某種程度的誤判。

　　提高行人檢測的精度依靠的是“單幀分類”和“多幀認(rèn)證”兩個(gè)步驟。首先通過“單幀分類”判斷出“好像是行人”，然后再轉(zhuǎn)入“多幀認(rèn)證”，當(dāng)檢測到行人進(jìn)入車道內(nèi)時(shí)提高等級，采取立即發(fā)出報(bào)警等處理方式。

　　在行人識別中，系統(tǒng)將把推測為行人的圖像分成9個(gè)區(qū)域提取特征（圖9），結(jié)合多幀的動態(tài)變化提高精度。識別到的VGA分辨率的縱長長方形行人圖像將在調(diào)整到12×36像素后進(jìn)入“單幀分類”處理。根據(jù)匯總了3～25m范圍內(nèi)15萬個(gè)廣泛的行人事例（考慮到了動作和停頓、照明、背景圖案、氣象條件、天氣下的可視條件等）的測試數(shù)據(jù)集進(jìn)行分類（注3）。

圖9：提取行人特征
把拍攝的圖像分成9個(gè)區(qū)域提取特征，識別其是否為行人。

（注3）數(shù)字依照Mobileye發(fā)表的論文，與現(xiàn)在的產(chǎn)品參數(shù)可能存在差異。

　　測試數(shù)據(jù)集根據(jù)在日本、德國（慕尼黑）、美國（底特律）、以色列各國的市區(qū)行駛50個(gè)小時(shí)獲得的數(shù)據(jù)制成。這種方法在誤判率為5.5％的情況下，檢測率可達(dá)90％?？紤]到檢測率與誤判率的均衡，最終采用的檢測率為93.5％，此時(shí)誤判率約為8％。

　　對于“單幀分類”無法檢測出的情況，在“多幀認(rèn)證”這一步中，考慮到了動態(tài)步伐和移動檢測、再檢測、腳部位置檢測，目的是區(qū)分行人與背景中的靜止物體（電線桿、樹木、護(hù)欄）的辦法。借助以上改進(jìn)，系統(tǒng)在白天能夠識別出30m前方身高在1m以上的行人。

攝像頭方式特有的弱點(diǎn)

　　我們的防碰撞報(bào)警系統(tǒng)也存在弱點(diǎn)。因?yàn)槭腔跀z像頭進(jìn)行圖像識別，所以人眼看不到的東西無法識別。在識別車道線時(shí)，掉色的車道線、在雨雪覆蓋下難以辨識的車道線可能無法識別。

　　在隧道的入口和出口附近，前方車輛與隧道影像重疊也可能造成誤報(bào)；前方車輛映照在被雨水淋濕的道路上的倒影也有可能造成誤報(bào)；當(dāng)太陽位于靠近地平線的正前方時(shí)，攝像頭有時(shí)會無法正確識別前方車輛；而且，當(dāng)攝像頭正前方的前窗上有水滴時(shí)，系統(tǒng)有可能發(fā)生魚眼鏡頭效應(yīng)，對前方車輛的大小判斷錯誤（注4）。

（注4）以上是Mobileye技術(shù)部門列舉的可能發(fā)生誤判的場合和條件。

未來將把自動駕駛也納入視野

　　為了改善這些弱點(diǎn)，我們已經(jīng)著手開始改進(jìn)圖像處理SoC。目前正在與意法合資意法半導(dǎo)體合作開發(fā)名為“EyeQ3”的第3代產(chǎn)品。計(jì)劃在2014年開始供應(yīng)配備該SoC的產(chǎn)品。

　　EyeQ3內(nèi)嵌4個(gè)支持多線程的“MIPS32內(nèi)核”，每個(gè)CPU內(nèi)核都配備了我們的VMP（vector microcode processor）。我們計(jì)劃通過靈活分配控制與數(shù)據(jù)處理，使其性能達(dá)到EyeQ2的6倍。

　　而且，我們還計(jì)劃實(shí)現(xiàn)支持多攝像頭輸入等大容量影像數(shù)據(jù)處理。如果除了前方之外，攝像頭還能安裝在后方和側(cè)面用以獲取信息，應(yīng)該能實(shí)現(xiàn)更可靠的防碰撞報(bào)警系統(tǒng)。

　　隨著攝像頭與汽車的融合，自動駕駛也已經(jīng)進(jìn)入了我們的視野，現(xiàn)在已經(jīng)著手開發(fā)。需要解決的課題雖多，但我們每天都在積極地迎接挑戰(zhàn)。在今后，Mobileye依然將全力開發(fā)更加方便大眾的汽車技術(shù)。