雙目立體視覺帶你進入 FCW / LDW 新視野

現(xiàn)今，最火熱的 ADAS 應用莫過于 前方防撞系統(tǒng)(Forward Collision Warning, FCW) 與 車道偏移系統(tǒng)(Lane Departure Warning, LDW)。
主要作用是預先偵測到任何會發(fā)生事故的物件或車輛、行人，盡而達到預防意外的功效! 以及搭配車道偏移預測加強輔助駕駛者 ! 但因受限于技術尚未成熟僅能針對特定的物件進行描繪，像是車輛或是行人。故善用雙目立體視覺技術，即可提高物件辨識率以及辨識更多種類的物件就是未來的研究一大方向，更是各家學術單位、公司百家爭鳴之處。 

雙目立體視覺應用層面相當廣泛，能用于前車偵測與防撞、車道偏移、號志識別、行人偵測等等 ADAS 相關安全應用，如下圖1。 即透過新穎的雙目概念建立新的維度 (物體深度/遠近)，為車用安全領域多一種新的發(fā)想與延伸應用，更能輕易的識別標的物，以利于提早邁入自動駕駛的領域之中。并能配合光學焦距的設計，使識別物件距離達到另一種層次提升，替未來車輛開拓市場。

圖1  雙目立體視覺應用場景

本方案提供一套 Sky Eye 雙目立體視覺 ADAS 產(chǎn)品開發(fā)原型與技術資源，如 "展示板圖片" 所示。要讓初入此領域者的開發(fā)者更快速地上手應用，縮短開發(fā)周期并更能專注于開發(fā)算法，設計出符合一定水平的 ADAS 產(chǎn)品。目前主要針對前車偵測與辨識進行開發(fā)，并搭配 Sony IMX224 車用感測器于實際架設在車輛上進行道路測試，如下圖2，能夠偵測出前方車輛距離，最遠偵測距離約50米。并邁入車用安全 ADAS 與自動駕駛之未來新領域中，創(chuàng)造更好的應用價值。

圖2  Sky Eye 雙目視覺前車偵測實測示意圖

借由專屬的雙目立體視覺算法創(chuàng)造建立三維空間(景深)。如下圖所示，取得兩顆鏡頭之影像后，由視差概念計算獲得新的空間 "視差"  ! 同時，即可推導出車輛距離 (視差值越大距離越近，反之視差值越小則距離越遠) !  亦可用彩色方式呈現(xiàn)視差圖，深淺程度由紅、澄、黃、綠、藍來表示近到遠的物件，如 "實測結果與彩色視差示意圖" 所示。

圖3  Sky Eye 雙目視覺前車偵測之視差原理示意圖

本方案提供的技術核心參考，取得視差圖后就可依照算法流程進行分析，由改善視差影像、地面估算、移除天空等步驟構成，即可將場景中的物件分類出來。最后統(tǒng)計資訊并利用條件篩選出車輛，如同下圖結果顯示即表示搜尋到前方車輛 !!  經(jīng)實際測試，執(zhí)行速度約可達到每秒 27 張 FPS，可偵測到 50 米內的車輛。

圖4  Sky Eye 算法流程大公開

最后，亦可善用 S32V234 APEX 視覺加速器所量身打造的 NXP eIQ Auto 套件與深度學習框架來提高識別車輛的辨識率 !! 達到辨識率與檢測速度更進一步的提升!!

圖5  eIQ Auto機器學習軟體套件之應用場景

? 場景應用圖

? 產(chǎn)品實體圖

? 展示版照片

? 方案方塊圖

? 實測結果與彩色視差示意圖

? 核心技術優(yōu)勢

優(yōu)勢一 : 能配合雙目視覺之視差概念，建置深度資訊以利于識別物件。比起單一鏡頭，雙目視覺多一個維度運用更能輕易識別遠方的車輛，應用前景極為廣闊可識別車輛、行人、號志與道路。 優(yōu)勢二: 提供兩路 MIPI 接口，其鏡頭相距 30 公分以擴大視差效果，如下圖3，搭配 Sony IMX224 鏡頭可偵測 50 米內之車輛。以視差原理搭配長焦、窄角鏡頭即可偵測更遠的物體(車輛)，更加強化雙目視覺的優(yōu)勢。 優(yōu)勢三: 提供齊全的周邊配置，如 高畫質多媒體界面(HDMI) 、 乙太網(wǎng)路(Ethernet) 、異步收發(fā)傳輸器(UART) 接口。 優(yōu)勢四: 可快速上手應用 NXP eIQ Auto 深度學習套件，與雙目視覺結合能增加辨識速度。亦可配合任何一個深度學習的架構作延伸應用，提高物件識別的準確度

? 方案規(guī)格

1. 主芯片 MPU 規(guī)格 (NXP S32V234)  :

    -  搭配 4 顆  Quad Cortex-A53 高效能處理器，最高時脈為 1GHz

     - 搭配 ISP 圖形處理器、APEX 視覺加速器、GPU 圖形加速器等核心

            -  ISP 圖形處理器 提供 HDR、色彩轉換、白平衡、自動曝光等技術

            -  APEX 視覺加速器 由 64 個小型運算器組成的硬體加速器，能提高約 8 倍的運算性能。

            -  GPU  圖形加速器(GC3000) ，運算速度高達 800 MHZ 。

   -提供 4MB 內部記憶體 與 DDR3/DDR3L/LPDDR2 外部記憶體

   -提供 H.264 影像解碼與編碼技術 (8-12bit)

  - 提供 SD card 、Ethernet 等周邊接口

   -符合車用安全規(guī)范 ISO 26262 標準 與 車輛安全等級 ASIL 的要求 2. 鏡頭模組 Camera Module 規(guī)格 (Sony IMX224)  :

    - 提供最高分辨率為 1280(H)x960(V) 共 1.23 百萬畫素

    - 提供最大禎數(shù)率 120 frame/s

    - 提供 10 and 12 bit數(shù)位類比轉換器

    - 提供低光源時，良好的高分辨率彩色圖像

    - 符合 AEC-Q100 2級 3. 外部記憶體 External Memory DDR3 規(guī)格 (MT41K256M16TW-107) :

    - 最高運行時脈為 933 MHZ

    - 儲存容量為 512 Byte

    - 操作電壓為 1.283 至 1.45 V

     -操作溫度為 0 至 95 度 4. 電源管理集成電路 PMIC (PF8100/PF8200) 規(guī)格:

     - 提供 7 個高效能降壓轉換器

     - 提供 4 個線性穩(wěn)壓器

     - 提供看門狗監(jiān)控機制

     - 符合 ISO 26262 標準與 車輛安全等級 ASIL-B 的要求 5.  低靜態(tài)電流同步降壓控制器 DCDC 規(guī)格（NCV881930）：

     - 工作頻率為 410 KHz，具有同步功能

     - 提供穩(wěn)定的工作電流 30umA

     - 提供熱關斷(TSD) 機制

     - 符合 AEC-Q100 與 PPAP 標準