高可靠芯片搭配視覺(jué)演算法，影像式ADAS滿足車(chē)規(guī)要求

搭載鏡頭的汽車(chē)系統(tǒng)日漸流行。各種中級(jí)轎車(chē)和入門(mén)級(jí)轎車(chē)紛紛加入該行列，以實(shí)現(xiàn)車(chē)道偏離報(bào)警和交通標(biāo)志識(shí)別系統(tǒng)。事實(shí)上，據(jù)IHS汽車(chē)半導(dǎo)體研究報(bào)告分析，至2020年，車(chē)載鏡頭感測(cè)器市場(chǎng)將以每年超過(guò)一億顆的數(shù)量增長(zhǎng)。

歐盟新車(chē)安全評(píng)鑒協(xié)會(huì)(Euro NCAP)在其中起著重要作用。自2016年起，汽車(chē)制造商將有望搭載新型系統(tǒng)，用以偵測(cè)和避免與行人的碰撞(圖1)。這就是所謂的半自動(dòng)功能，基于鏡頭和雷達(dá)的技術(shù)，因其可識(shí)別行人并實(shí)施煞車(chē)功能，甚至操縱汽車(chē)轉(zhuǎn)向，以避免碰撞事故發(fā)生，因此歐盟新車(chē)評(píng)鑒協(xié)會(huì)的五星安全認(rèn)證將是觸手可及(圖2)。

圖1　汽車(chē)搭載新型系統(tǒng)，將可偵測(cè)與避免和行人碰撞。

半自動(dòng)駕駛軟體須強(qiáng)健/可靠/安全

圖2　搭載鏡頭、雷達(dá)技術(shù)的車(chē)輛，可辨識(shí)行人并控制車(chē)輛煞車(chē)或轉(zhuǎn)向。

然而，真正的挑戰(zhàn)是如何滿足汽車(chē)級(jí)應(yīng)用的高品質(zhì)以及安全性需求。對(duì)于保護(hù)人身安全的系統(tǒng)而言，如果在這些重要方面有所妥協(xié)，將是無(wú)法容忍的致命缺陷。具體來(lái)講，這也就意味著基于鏡頭的安全系統(tǒng)須能滿足AEC-Q100的長(zhǎng)期可靠性需求；也必須滿足ISO26262汽車(chē)功能安全標(biāo)準(zhǔn)要求；此外，還須保證適當(dāng)?shù)挠搀w安全等級(jí)，以防止惡意軟體攻擊和IP盜取情況發(fā)生。

目前，業(yè)界共同面臨的一個(gè)嚴(yán)峻挑戰(zhàn)是，如何開(kāi)發(fā)出一款既能滿足上述三個(gè)基本要求，又能提供卓越應(yīng)用效能的解決方案。事實(shí)上，如果無(wú)法安全、穩(wěn)固地部署高度復(fù)雜的進(jìn)階駕駛員輔助系統(tǒng)(ADAS)應(yīng)用，就無(wú)法看到自動(dòng)駕駛汽車(chē)的廣泛普及。

基于鏡頭的ADAS應(yīng)用包括嵌入式硬體和軟體解決方案，飛思卡爾(Freescale)與東軟汽車(chē)電子(Neusoft Automotive)攜手合作，結(jié)合高品質(zhì)汽車(chē)微控制器與尖端汽車(chē)視覺(jué)軟體提供強(qiáng)健、可靠、安全的半自動(dòng)功能。

為打造一款開(kāi)放、靈活的解決方案，飛思卡爾S32V234系列產(chǎn)品采用多個(gè)特定程式設(shè)計(jì)應(yīng)用加速器，每個(gè)加速器都面向ADAS應(yīng)用所需處理管道的一個(gè)特定領(lǐng)域。為執(zhí)行典型鏡頭資料預(yù)處理，該平臺(tái)采用一個(gè)可程式設(shè)計(jì)影像訊號(hào)處理(ISP)模組，用以執(zhí)行電腦視覺(jué)處理任務(wù)，如梯度方向長(zhǎng)條圖(HOG)的整個(gè)或部分影像處理。

因采用IP提供商CogniVue的APEX2引擎中的兩個(gè)實(shí)例，傳統(tǒng)電腦視覺(jué)演算法得以加速提升。APEX2引擎是一個(gè)大規(guī)模的平行系統(tǒng)，包含六十四個(gè)針對(duì)視覺(jué)處理優(yōu)化的計(jì)算引擎。此外，APEX2引擎由名為APEX核心框架(ACF)的軟體層支援，使應(yīng)用開(kāi)發(fā)人員可以遠(yuǎn)離大部分底層復(fù)雜工作。

視覺(jué)處理要求非線性程式流或浮點(diǎn)數(shù)運(yùn)算。S32V234系列方案提供四個(gè)ARM Cortex-A53內(nèi)核，支援9200DhrystoneMIPS的通用精簡(jiǎn)指令集(RISC)效能需求。全部四核都包括單指令多資料擴(kuò)展NEON，以進(jìn)一步提升特定演算法效能。

為呈現(xiàn)一款令人矚目且主要針對(duì)環(huán)視應(yīng)用的圖形化人機(jī)介面(HMI)，該系列方案還支援高效能圖形處理單元，以滿足OpenGL ES3.0、OpenVG 1.1和OpenCL 1.2等Khronos標(biāo)準(zhǔn)。

來(lái)自Vivante的產(chǎn)生實(shí)體GC3000圖形處理器(GPU)可達(dá)到1.2GPixels/sec的圖元速率和200M Triangles/sec的幾何速率。其GPU著色器可提供高達(dá)39GFLOP/sec的效能。

為了提供將輸入資料填入不同加速器所需的記憶體頻寬，飛思卡爾采用層級(jí)記憶體結(jié)構(gòu)，旨在保證晶片系統(tǒng)上最多數(shù)量的資料傳輸。采用這一結(jié)構(gòu)有兩個(gè)目的：減少外部記憶體元件的數(shù)量；減少晶片間訊號(hào)傳輸?shù)?strong>功耗，這同時(shí)也是ADAS考慮的兩個(gè)主要成本因素。采用這一技術(shù)毋須增加成本，即可實(shí)現(xiàn)50GB/sec左右的記憶體頻寬。

這組高度程式設(shè)計(jì)化的特定應(yīng)用處理器和相應(yīng)的記憶體子系統(tǒng)可通過(guò)各種手段達(dá)到ISO26262標(biāo)準(zhǔn)的要求。為以最有效的方式使用現(xiàn)有可用硬體，設(shè)計(jì)目標(biāo)必須避免重要資源的重置，且不影響安全性。因此，須引入額外掛鉤(Hook)以實(shí)現(xiàn)所需的故障覆蓋率，某些情況下要通過(guò)軟硬體的智慧組合來(lái)實(shí)現(xiàn)，從而使晶片系統(tǒng)滿足ASILB應(yīng)用的需求，而不影響RISC平臺(tái)上9.2K DMIPS的計(jì)算能力。

為保證ECU以及S32V234系列產(chǎn)品上運(yùn)行軟體的安全性，ECU采用一款經(jīng)過(guò)現(xiàn)場(chǎng)驗(yàn)證的安全模組，以確保運(yùn)行軟體的可靠性并保護(hù)軟體IP。加密服務(wù)引擎(CSE)安全模組符合HIS SHEAPI規(guī)格的要求。

S32V234系列產(chǎn)品的技術(shù)細(xì)節(jié)充分驗(yàn)證，要實(shí)現(xiàn)此類(lèi)精密且功能強(qiáng)大的ADAS，須事前做很多工作。為更加高效利用平臺(tái)系統(tǒng)，飛思卡爾的合作夥伴--Greenhills，提供一款經(jīng)過(guò)安全認(rèn)證的INTEGRITY即時(shí)操作系統(tǒng)(RTOS)，以滿足平臺(tái)需求。在應(yīng)用方面，飛思卡爾的另一合作夥伴東軟集團(tuán)，已開(kāi)始將其經(jīng)過(guò)現(xiàn)場(chǎng)驗(yàn)證的演算法移植到平臺(tái)系統(tǒng)，一旦就緒，這個(gè)平臺(tái)系統(tǒng)即可快速上市。

東軟研發(fā)基于視覺(jué)的ADAS演算法。目前，已有超過(guò)七十位軟體工程師致力于ADAS的開(kāi)發(fā)，為復(fù)雜交通環(huán)境中視覺(jué)目標(biāo)檢測(cè)和環(huán)境感知提供高精度、穩(wěn)定可靠的軟體解決方案。全套軟體演算法將支援所有視覺(jué)ADAS功能，如行人檢測(cè)、車(chē)道偏離報(bào)警(LDW)、交通標(biāo)志識(shí)別(TSR)、運(yùn)動(dòng)目標(biāo)檢測(cè)(MOD)和盲點(diǎn)檢測(cè)(BSD)。在亞洲，LDW、TSR和MOD已被OEM和一級(jí)市場(chǎng)廣泛采納和應(yīng)用。

加強(qiáng)視覺(jué)/提高靈活度　ADAS更趨完善

軟體發(fā)展面臨的三大挑戰(zhàn)：可靠性、靈活性和可行性。ADAS功能設(shè)計(jì)日趨安全，如今，功能和連接的安全需求已眾所周知，而滿足這些需要?jiǎng)t是必備條件。功能性軟體不僅要提供穩(wěn)健、精確的目標(biāo)和環(huán)境識(shí)別能力(在各種不同交通環(huán)境和燈光條件下)，同時(shí)必須滿足即時(shí)性需求。

軟體設(shè)計(jì)人員經(jīng)常會(huì)面臨兩難境地，一方面必須采用更加先進(jìn)的分類(lèi)方法(如機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)路等)，以實(shí)現(xiàn)不同的識(shí)別方式，最終提升應(yīng)用的效能；另一方面，這樣卻不可避免地會(huì)給即時(shí)實(shí)作帶來(lái)額外負(fù)擔(dān)。因此，設(shè)計(jì)人員必須綜合考慮各方面因素，巧妙地設(shè)計(jì)出最佳的軟體解決方案。

開(kāi)發(fā)或提供ADAS的所有OEM和一級(jí)市場(chǎng)均采用類(lèi)似的名稱來(lái)命名相同的功能(表1)。然而，沒(méi)有任何兩個(gè)解決方案是完全相同的，每個(gè)客戶都會(huì)根據(jù)自身的特定需求提出不同的規(guī)格要求；此外，也沒(méi)有完全相同的專案環(huán)境，其應(yīng)用必須考慮不同的硬體環(huán)境和安裝位置。

軟體設(shè)計(jì)必須具有足夠的靈活性，以支援不同類(lèi)型和解析度的鏡頭設(shè)備，并能夠識(shí)別多類(lèi)型目標(biāo)。軟體解決方案必須易于配置，且能夠執(zhí)行功能定制、當(dāng)?shù)卣Z(yǔ)系化和自訂服務(wù)，同時(shí)不會(huì)降低軟體品質(zhì)。

最后，ADAS軟體還必須滿足可行性要求。軟體采用的演算法必須易于實(shí)作且穩(wěn)定執(zhí)行，至少可保證幾百小時(shí)連續(xù)工作。同時(shí)，設(shè)計(jì)人員還必須考慮低功耗、異常情況容忍度和錯(cuò)誤檢測(cè)等功能特性，因此，ADAS功能的開(kāi)發(fā)成為了一項(xiàng)高度復(fù)雜、富有挑戰(zhàn)性的任務(wù)。

應(yīng)對(duì)ADAS開(kāi)發(fā)挑戰(zhàn)的關(guān)鍵因素，不僅在于采用尖端的硬體設(shè)備和使用先進(jìn)的電腦視覺(jué)演算法，二者的完美結(jié)合才是最佳的解決方案。在S32V產(chǎn)品設(shè)計(jì)的早期階段，飛思卡爾和東軟曾密切進(jìn)行技術(shù)交流。

為提供最佳的硬體設(shè)備支援以加速ADAS演算法的潛在并行性，兩家公司研究了ADAS演算法的不同類(lèi)型(任務(wù)并行、資料并行、管道并行)和并行等級(jí)(任務(wù)級(jí)并行、回圈級(jí)并行、指令級(jí)并行)。

最終總結(jié)出超過(guò)十種重要的計(jì)算模式，其中六種最為耗時(shí)?；谏鲜龅难芯砍晒?，S32V產(chǎn)品最終提供并整合了不同種類(lèi)的計(jì)算單元。ADAS軟體解決方案的總體輪廓架構(gòu)已經(jīng)形成：多層軟體管道、適用于低階影像處理的ISP、適用于中級(jí)特征提取的APEX2，以及用于進(jìn)階協(xié)調(diào)和資訊融合的CPU。

隨著飛思卡爾在2013年推出FPGA模擬技術(shù)，各種重要演算法，包括積分影像計(jì)算、目標(biāo)特征提取和分類(lèi)，均得到優(yōu)化。預(yù)期至S32V產(chǎn)品上市，關(guān)鍵演算法的速度將是目前的20倍。

在ADAS軟體研究和開(kāi)發(fā)過(guò)程中，選用資深開(kāi)發(fā)團(tuán)隊(duì)，以及高品質(zhì)開(kāi)發(fā)流程至為重要。演算法必須明確地聲明其所需的資源、驗(yàn)證條件，以及異常和故障行為。自研究階段初始，演算法就要確?；拒涹w模組的自完整性、獨(dú)立性和靈活性。 完整的軟體架構(gòu)包括了硬體隱藏層、感知層、決策層和HMI層。感知層是其中的關(guān)鍵部分。

基于ISP或APEX2的關(guān)鍵優(yōu)化演算法有序寄存于感知層。以上所有因素均為ADAS解決方案的最終成型奠定了堅(jiān)實(shí)基礎(chǔ)，使該解決方案能夠滿足汽車(chē)級(jí)高可靠性標(biāo)準(zhǔn)，如ISO26262。

東軟的目標(biāo)是與合作夥伴緊密合作，最終提供具有ADAS功能的開(kāi)放式解決方案。OEM和一級(jí)市場(chǎng)能夠選擇不同類(lèi)型和數(shù)量的鏡頭感測(cè)器，并選擇不同的ADAS功能特性組合。

這種方式不僅保證ADAS解決方案的安全性和可靠性，價(jià)格也極具競(jìng)爭(zhēng)力。目前東軟已成功將重要演算法移植到S32V的FPGA模擬器中，包括車(chē)道偏離報(bào)警、行人檢測(cè)和交通標(biāo)志識(shí)別。下一步，該公司將推出基于S32V的視覺(jué)解決方案，支援車(chē)輛行駛的前視、后視和環(huán)視ADAS功能，包括盲點(diǎn)檢測(cè)、交通燈識(shí)別、行動(dòng)目標(biāo)檢測(cè)以及環(huán)視輔助系統(tǒng)。未來(lái)也將不斷致力于打造一個(gè)更加安全、便捷及舒適的交通環(huán)境。