雙目立體視覺(jué)帶你進(jìn)入 FCW / LDW 新視野

作者：時(shí)間：2022-08-15 來(lái)源：大聯(lián)大

英飛凌汽車(chē)電子生態(tài)圈
- 掃碼關(guān)注
  獲取最新最全汽車(chē)電子
  技術(shù)方案與實(shí)用技巧

現(xiàn)今，最火熱的 ADAS 應(yīng)用莫過(guò)于前方防撞系統(tǒng)(Forward Collision Warning, FCW) 與車(chē)道偏移系統(tǒng)(Lane Departure Warning, LDW)。
主要作用是預(yù)先偵測(cè)到任何會(huì)發(fā)生事故的物件或車(chē)輛、行人，盡而達(dá)到預(yù)防意外的功效! 以及搭配車(chē)道偏移預(yù)測(cè)加強(qiáng)輔助駕駛者 ! 但因受限于技術(shù)尚未成熟僅能針對(duì)特定的物件進(jìn)行描繪，像是車(chē)輛或是行人。故善用雙目立體視覺(jué)技術(shù)，即可提高物件辨識(shí)率以及辨識(shí)更多種類(lèi)的物件就是未來(lái)的研究一大方向，更是各家學(xué)術(shù)單位、公司百家爭(zhēng)鳴之處。

本文引用地址：http://butianyuan.cn/article/202208/437336.htm

雙目立體視覺(jué)應(yīng)用層面相當(dāng)廣泛，能用于前車(chē)偵測(cè)與防撞、車(chē)道偏移、號(hào)志識(shí)別、行人偵測(cè)等等 ADAS 相關(guān)安全應(yīng)用，如下圖1。即透過(guò)新穎的雙目概念建立新的維度 (物體深度/遠(yuǎn)近)，為車(chē)用安全領(lǐng)域多一種新的發(fā)想與延伸應(yīng)用，更能輕易的識(shí)別標(biāo)的物，以利于提早邁入自動(dòng)駕駛的領(lǐng)域之中。并能配合光學(xué)焦距的設(shè)計(jì)，使識(shí)別物件距離達(dá)到另一種層次提升，替未來(lái)車(chē)輛開(kāi)拓市場(chǎng)。

圖1 雙目立體視覺(jué)應(yīng)用場(chǎng)景

本方案提供一套 Sky Eye 雙目立體視覺(jué) ADAS 產(chǎn)品開(kāi)發(fā)原型與技術(shù)資源，如 "展示板圖片" 所示。要讓初入此領(lǐng)域者的開(kāi)發(fā)者更快速地上手應(yīng)用，縮短開(kāi)發(fā)周期并更能專(zhuān)注于開(kāi)發(fā)算法，設(shè)計(jì)出符合一定水平的 ADAS 產(chǎn)品。目前主要針對(duì)前車(chē)偵測(cè)與辨識(shí)進(jìn)行開(kāi)發(fā)，并搭配 Sony IMX224 車(chē)用感測(cè)器于實(shí)際架設(shè)在車(chē)輛上進(jìn)行道路測(cè)試，如下圖2，能夠偵測(cè)出前方車(chē)輛距離，最遠(yuǎn)偵測(cè)距離約50米。并邁入車(chē)用安全 ADAS 與自動(dòng)駕駛之未來(lái)新領(lǐng)域中，創(chuàng)造更好的應(yīng)用價(jià)值。

圖2 Sky Eye 雙目視覺(jué)前車(chē)偵測(cè)實(shí)測(cè)示意圖

借由專(zhuān)屬的雙目立體視覺(jué)算法創(chuàng)造建立三維空間(景深)。如下圖所示，取得兩顆鏡頭之影像后，由視差概念計(jì)算獲得新的空間 "視差" ! 同時(shí)，即可推導(dǎo)出車(chē)輛距離 (視差值越大距離越近，反之視差值越小則距離越遠(yuǎn)) ! 亦可用彩色方式呈現(xiàn)視差圖，深淺程度由紅、澄、黃、綠、藍(lán)來(lái)表示近到遠(yuǎn)的物件，如 "實(shí)測(cè)結(jié)果與彩色視差示意圖" 所示。

圖3 Sky Eye 雙目視覺(jué)前車(chē)偵測(cè)之視差原理示意圖

本方案提供的技術(shù)核心參考，取得視差圖后就可依照算法流程進(jìn)行分析，由改善視差影像、地面估算、移除天空等步驟構(gòu)成，即可將場(chǎng)景中的物件分類(lèi)出來(lái)。最后統(tǒng)計(jì)資訊并利用條件篩選出車(chē)輛，如同下圖結(jié)果顯示即表示搜尋到前方車(chē)輛 !! 經(jīng)實(shí)際測(cè)試，執(zhí)行速度約可達(dá)到每秒 27 張 FPS，可偵測(cè)到 50 米內(nèi)的車(chē)輛。

圖4 Sky Eye 算法流程大公開(kāi)

最后，亦可善用 S32V234 APEX 視覺(jué)加速器所量身打造的 NXP eIQ Auto 套件與深度學(xué)習(xí)框架來(lái)提高識(shí)別車(chē)輛的辨識(shí)率 !! 達(dá)到辨識(shí)率與檢測(cè)速度更進(jìn)一步的提升!!

圖5 eIQ Auto機(jī)器學(xué)習(xí)軟體套件之應(yīng)用場(chǎng)景

? 場(chǎng)景應(yīng)用圖

sceneryUrl

? 產(chǎn)品實(shí)體圖

imgUrl

? 展示版照片

frontUrl

? 方案方塊圖

funcUrl

? 實(shí)測(cè)結(jié)果與彩色視差示意圖

other5Url

? 核心技術(shù)優(yōu)勢(shì)

優(yōu)勢(shì)一 : 能配合雙目視覺(jué)之視差概念，建置深度資訊以利于識(shí)別物件。比起單一鏡頭，雙目視覺(jué)多一個(gè)維度運(yùn)用更能輕易識(shí)別遠(yuǎn)方的車(chē)輛，應(yīng)用前景極為廣闊可識(shí)別車(chē)輛、行人、號(hào)志與道路。優(yōu)勢(shì)二: 提供兩路 MIPI 接口，其鏡頭相距 30 公分以擴(kuò)大視差效果，如下圖3，搭配 Sony IMX224 鏡頭可偵測(cè) 50 米內(nèi)之車(chē)輛。以視差原理搭配長(zhǎng)焦、窄角鏡頭即可偵測(cè)更遠(yuǎn)的物體(車(chē)輛)，更加強(qiáng)化雙目視覺(jué)的優(yōu)勢(shì)。優(yōu)勢(shì)三: 提供齊全的周邊配置，如高畫(huà)質(zhì)多媒體界面(HDMI) 、乙太網(wǎng)路(Ethernet) 、異步收發(fā)傳輸器(UART) 接口。優(yōu)勢(shì)四: 可快速上手應(yīng)用 NXP eIQ Auto 深度學(xué)習(xí)套件，與雙目視覺(jué)結(jié)合能增加辨識(shí)速度。亦可配合任何一個(gè)深度學(xué)習(xí)的架構(gòu)作延伸應(yīng)用，提高物件識(shí)別的準(zhǔn)確度

? 方案規(guī)格

1. 主芯片 MPU 規(guī)格 (NXP S32V234) :

- 搭配 4 顆 Quad Cortex-A53 高效能處理器，最高時(shí)脈為 1GHz

- 搭配 ISP 圖形處理器、APEX 視覺(jué)加速器、GPU 圖形加速器等核心

- ISP 圖形處理器提供 HDR、色彩轉(zhuǎn)換、白平衡、自動(dòng)曝光等技術(shù)

- APEX 視覺(jué)加速器由 64 個(gè)小型運(yùn)算器組成的硬體加速器，能提高約 8 倍的運(yùn)算性能。

- GPU 圖形加速器(GC3000) ，運(yùn)算速度高達(dá) 800 MHZ 。

-提供 4MB 內(nèi)部記憶體與 DDR3/DDR3L/LPDDR2 外部記憶體

-提供 H.264 影像解碼與編碼技術(shù) (8-12bit)

- 提供 SD card 、Ethernet 等周邊接口

-符合車(chē)用安全規(guī)范 ISO 26262 標(biāo)準(zhǔn) 與車(chē)輛安全等級(jí) ASIL 的要求 2. 鏡頭模組 Camera Module 規(guī)格 (Sony IMX224) :

- 提供最高分辨率為 1280(H)x960(V) 共 1.23 百萬(wàn)畫(huà)素