全高級(jí)駕駛員感知系統(tǒng)和All Programmable SoC

　　道路安全從摩爾定律中受益良多，處理能力的提升以及 CMOS 圖像傳感器 (CIS) 和其他傳感器技術(shù)的發(fā)展，讓車輛制造商得以推出高級(jí)駕駛員感知系統(tǒng) (ADAS)。ADAS 能增強(qiáng)駕駛員對(duì)周邊環(huán)境的感知，減少發(fā)生碰撞的概率。部分系統(tǒng)還能夠監(jiān)控駕駛員并向駕駛員發(fā)出告警，例如在駕駛員打盹時(shí)。

　　ADAS 還越來(lái)越多地接手控制(或?yàn)闊o(wú)人駕駛系統(tǒng)提供信息)，從而為駕駛員提供泊車輔助、車道輔助和自適應(yīng)巡航控制等功能方面的協(xié)助。

　　顯示導(dǎo)航和狀態(tài)感知信息的 ADAS 抬頭應(yīng)用

　　因此，不出意料，到 2021 年預(yù)計(jì) ADAS 市場(chǎng)的規(guī)模將達(dá)到 420 億美元，目前的年復(fù)合增長(zhǎng)率(GAGR)達(dá)到 10%(來(lái)源：http://www.marketsandmarkets.com/Market-Reports/driver-assistance-systems-market-1201.htm)。

　　ADAS 通常使用嵌入式視覺(jué)、RADAR 和 LIDAR 等多類傳感器來(lái)提取所需信息，并運(yùn)用傳感器融合方法整合來(lái)自多個(gè)傳感器的信息。在嵌入式視覺(jué)領(lǐng)域， ADAS 又可劃分為兩大類。一類負(fù)責(zé)外部監(jiān)控，解決車道偏離、對(duì)象檢測(cè)、盲點(diǎn)檢測(cè)和交通標(biāo)識(shí)識(shí)別等問(wèn)題。另一類負(fù)責(zé)內(nèi)部系統(tǒng)監(jiān)控，例如負(fù)責(zé)駕駛員打盹監(jiān)測(cè)和眼睛檢測(cè)等。內(nèi)外部 ADAS 應(yīng)用在實(shí)現(xiàn)圖像處理算法時(shí)都面臨自身的挑戰(zhàn)。

　　這些挑戰(zhàn)從實(shí)現(xiàn)應(yīng)用所需算法的能力直至符合正確的汽車標(biāo)準(zhǔn)，不一而足。許多 ADAS 應(yīng)用還要求傳感器融合功能以整合來(lái)自多個(gè)傳感器的輸入，從而顯著提高了所需的處理能力。在使用多個(gè)同類傳感器的時(shí)候，傳感器融合可以是同構(gòu)傳感器融合。在使用不同類型的傳感器提取所需信息時(shí)，傳感器融合則為異構(gòu)傳感器融合。

　　因具備高度的靈活性，許多應(yīng)用都選用 All Programmable SoC 或 FPGA 來(lái)實(shí)現(xiàn)系統(tǒng)。兩種都能實(shí)現(xiàn)所需的算法，而且兩者都能夠連接不同類型的傳感器類型和網(wǎng)絡(luò)。

　　伴隨高性能 ADAS 應(yīng)用而來(lái)的是幾個(gè)系統(tǒng)難題。這些難題在開始思考時(shí)并不明顯。汽車制造商需要滿足嚴(yán)格的污染標(biāo)準(zhǔn)要求，因此總體解決方案的重量和功耗相當(dāng)重要。因?yàn)樯a(chǎn)的車輛以數(shù)十萬(wàn)計(jì)，解決方案的成本也很關(guān)鍵。雖然系統(tǒng)的保密性和安全性非常關(guān)鍵而且受多重標(biāo)準(zhǔn)的制約，使用 SoC 或 FPGA 能幫助我們解決一系列此類問(wèn)題。

　　系統(tǒng)架構(gòu)

　　開發(fā)用于監(jiān)測(cè)內(nèi)外部攝像頭的嵌入式視覺(jué) ADAS 可以說(shuō)這是一項(xiàng)更具挑戰(zhàn)性的 ADAS 實(shí)現(xiàn)方案。該系統(tǒng)需要與車身四周多個(gè)攝像頭連接，以處理圖像并給乘客提供信息。許多攝像頭解決方案使用點(diǎn)對(duì)點(diǎn) LVDS 連線來(lái)傳輸數(shù)據(jù)，但是這會(huì)因布線需求而增加成本和重量。但是也有其他替代性方法正在日漸贏得使用，這些方法把部分功能內(nèi)置在攝像頭中。如果攝像頭的圖像輸出采用壓縮方式而不是原始圖像，這樣基于網(wǎng)絡(luò)的架構(gòu)就有可能實(shí)現(xiàn)傳輸。這些網(wǎng)絡(luò)可以圍繞通用汽車總線架構(gòu)，例如：

　　·媒體導(dǎo)向系統(tǒng)傳輸 (MOST)——一種能以光學(xué)或電氣物理層方式實(shí)現(xiàn)的高速網(wǎng)絡(luò)。

　　·IDB-1394——實(shí)現(xiàn)在電氣物理層上的高速網(wǎng)絡(luò)，采用雛菊鏈拓?fù)浣Y(jié)構(gòu)。

　　·以太網(wǎng) AVB——以太網(wǎng)音視頻橋接能夠圍繞車輛按需發(fā)送圖像數(shù)據(jù)和其他數(shù)據(jù)

　　如果我們選擇使用網(wǎng)絡(luò)，系統(tǒng)架構(gòu)師必須確保提供所需帶寬，以便在攝像頭和 ADAS 內(nèi)核之間傳輸圖像數(shù)據(jù)，同時(shí)滿足應(yīng)用時(shí)延要求。

　　ADAS 系統(tǒng)生成的數(shù)據(jù)可能需要與汽車中的其他系統(tǒng)共享，例如自適應(yīng)巡航控制或泊車輔助。因此 ADAS 必須能夠與 CAN 或 FlexRay 等其他通用汽車接口連接。

　　Zynq 支持與傳感器和消費(fèi)者的任意接口

　　在架構(gòu)層，使用基于 All Programmable Zynq? SoC 的方法可提供多重優(yōu)勢(shì)。如果點(diǎn)對(duì)點(diǎn)連線用于連接這些攝像頭，攝像頭接收器可實(shí)現(xiàn)在位于圖像處理鏈條前的可編程邏輯中。如果要使用 All programmable SoC，處理器系統(tǒng)側(cè)應(yīng)具備足夠高的靈活性，在需要與可編程邏輯中的邏輯和外部 PHY 結(jié)合時(shí)，能方便地采用 CAN、以太網(wǎng)和 FlexRay 等其他協(xié)議。雙核處理器與可編程邏輯的完美組合可帶來(lái)極低的單位像素功耗，因?yàn)橄到y(tǒng)緊密集成。

　　All Programmable SoC 架構(gòu)

　　SoC 體現(xiàn)出自己價(jià)值的地方是運(yùn)用可編程邏輯 (PL) 實(shí)現(xiàn)攝像頭接口和圖像處理鏈。同時(shí) SoC 的處理系統(tǒng) (PS) 可根據(jù)需要提供通信、控制和額外的算法處理。圖像處理流水線可使用所提供的眾多 IP 庫(kù)以及來(lái)自專業(yè)廠商的更專業(yè)的 IP 核來(lái)生成，以縮短產(chǎn)品上市時(shí)間。

　　用于多攝像頭系統(tǒng)的基于 Zynq 的架構(gòu)模塊

　　如果我們要開發(fā)額外的算法，我們可以運(yùn)用Vivado? HLS、SDSoC? 和 Matlab 等高層次綜合工具套件來(lái)加速開發(fā)進(jìn)程。我們可以使用 C 或 C++ 等更高級(jí)語(yǔ)言，而不使用 VHDL 或 Verilog 等傳統(tǒng)硬件描述語(yǔ)言來(lái)開發(fā) IP，可加速產(chǎn)品上市進(jìn)程。

　　要進(jìn)一步加快算法可使用 OpenCV 等開源框架。使用該框架開發(fā)的算法可映射到受 Vivado HLS 和 SDSoC 支持的 HLS 視頻庫(kù)中。這樣可以順利從概念和演示驗(yàn)證過(guò)渡到運(yùn)行在目標(biāo)硬件上進(jìn)行特性描述和認(rèn)證的算法。

　　許多已實(shí)現(xiàn)的架構(gòu)會(huì)使用處理器的 DDR 內(nèi)存作為幀緩存。例如如果使用基于以太網(wǎng)的系統(tǒng)或 PCIe，這樣可以讓處理器根據(jù)需要訪問(wèn)圖像，進(jìn)一步向前傳輸。我們還可以使用處理器系統(tǒng)的功能對(duì)存儲(chǔ)在 DDR 中的圖像執(zhí)行額外的圖像處理算法，然后在需要時(shí)再度插入到圖像處理鏈條中。

　　這樣可以提供一個(gè)非常有意思的功能，即 SoC 本身可構(gòu)成其自己的原型和演示平臺(tái)。如果使用運(yùn)行在處理器內(nèi)核上的通用嵌入式視覺(jué)開發(fā)框架(如 OpenCV)，這樣可以提供一個(gè)精簡(jiǎn)的原型系統(tǒng)。該系統(tǒng)隨即使用 SoC 的可編程邏輯可進(jìn)行性能優(yōu)化。

　　安全性

　　ADAS 的基本性質(zhì)就是為汽車提供安全性，為此該系統(tǒng)必須和其他高可靠性系統(tǒng)一樣在開發(fā)中遵循一個(gè)標(biāo)準(zhǔn)，對(duì) ADAS 而言可適用的標(biāo)準(zhǔn)就是 ISO 26262。該標(biāo)準(zhǔn)定義了一系列汽車安全完整性等級(jí) (A-SIL)，每個(gè)等級(jí)代表失效時(shí)間(以小時(shí)計(jì))?？偣灿兴膫€(gè) A-SIL 等級(jí)，其中 D 是最高和最難達(dá)到的，A 是最低級(jí)別。要滿足這些要求，需要使用綜合工程交付生命周期來(lái)保障不僅能實(shí)現(xiàn)目標(biāo) A-SIL，而且生成的數(shù)據(jù)包通過(guò)存留必要的證據(jù)，還能證明這一點(diǎn)。

　　汽車應(yīng)用受制于嚴(yán)苛的環(huán)境，為此開發(fā)人員需要確保自己使用的是汽車級(jí)的組件，例如通過(guò) AEC-Q100 認(rèn)證的組件。這類組件的制造和認(rèn)證標(biāo)準(zhǔn)比商用組件要高。

　　它們還必須考慮系統(tǒng)的安全性，防止無(wú)授權(quán)人員對(duì)系統(tǒng)進(jìn)行修改，因?yàn)檫@可能導(dǎo)致災(zāi)難性的后果。

　　使用 All Programmable SoC，就能夠使用它的安全引導(dǎo)功能，防止未授權(quán)程序和比特流被配置到系統(tǒng)里。要做到這一點(diǎn)，開發(fā)人員可將 AES 加密、HMAC 和 RSA 認(rèn)證與 TrustZone 技術(shù)結(jié)合使用。

　　TrustZone 可讓系統(tǒng)設(shè)計(jì)人員實(shí)現(xiàn)正交軟件環(huán)境，限制訪問(wèn)含可編程邏輯外設(shè)在內(nèi)的 SoC 內(nèi)部硬件功能。

　　系統(tǒng)的健康狀況可使用能夠監(jiān)測(cè) SoC 供電電壓和晶片溫度的 XADC 加以監(jiān)測(cè)。開發(fā)人員還可以使用外部 SoC 引腳來(lái)監(jiān)測(cè)更廣泛系統(tǒng)范圍內(nèi)的其他模擬信號(hào)，進(jìn)一步監(jiān)測(cè)系統(tǒng)的健康狀況和使用情況。

　　因?yàn)樵?nbsp;SoC 將處理器和與內(nèi)部 ADC 耦合的可編程邏輯緊密集成，設(shè)計(jì)人員能夠得到因部件數(shù)量減少所帶來(lái)的明顯好處。而且減少組件數(shù)還能有力幫助我們實(shí)現(xiàn)所要求的低故障率。

　　總結(jié)

　　從系統(tǒng)層面和器件層面來(lái)看，使用 All Programmable SoC 均能為ADAS開發(fā)帶來(lái)一系列好處，實(shí)現(xiàn)更高集成度，減輕系統(tǒng)重量，提高系統(tǒng)能效。最新高層次綜合工具能快速開發(fā)可供 OpenCV 等眾多開源通用框架使用的圖像處理功能。