瑞薩電子推出為無人駕駛時代的汽車運算SoC而打造的低延遲、高性能和低功耗的攝像頭視頻處理電路模塊

　　全球領(lǐng)先的半導(dǎo)體解決方案供應(yīng)商瑞薩電子株式會社今日宣布推出用于未來無人駕駛汽車運算系統(tǒng)SoC(SoC)的新型視頻處理電路模塊。

　　無人駕駛汽車運算系統(tǒng)SoC應(yīng)結(jié)合車載信息娛樂系統(tǒng)和安全駕駛輔助系統(tǒng)兩個系統(tǒng)的功能，并能對這兩個系統(tǒng)進行平行操作。需特別指出的是，安全駕駛輔助系統(tǒng)必須能夠低延遲地處理來自車載攝像頭的視頻數(shù)據(jù)，并及時把適當(dāng)?shù)男畔⑼ㄖ{駛員。車載信息娛樂系統(tǒng)和安全駕駛輔助系統(tǒng)的研發(fā)者所面臨的一個問題是需要無延遲并穩(wěn)定地處理大量的視頻數(shù)據(jù)并運行無人駕駛車輛的控制功能。

　　新研發(fā)的視頻處理電路模塊用低延遲的方式進行車載攝像頭視頻的處理。它可以低功耗地對大量視頻數(shù)據(jù)進行實時視頻處理，并不對CPU和圖形處理單元(GPU)增加任何額外的負(fù)荷，這有利于對無人駕駛車輛的控制。瑞薩采用16納米FinFET工藝研發(fā)出新的視頻處理電路模塊原型。除了車載攝像頭視頻的70 ms延時處理功能，它還提供了業(yè)內(nèi)領(lǐng)先的僅197 mW功耗的全高清12路視頻處理功能。

　　最近，預(yù)示未來將出現(xiàn)無人駕駛車輛的車載信息娛樂系統(tǒng)(如汽車導(dǎo)航系統(tǒng)和高級駕駛員輔助系統(tǒng)(ADAS))已取得顯著的進展，讓這些系統(tǒng)更有可能成為結(jié)合車載信息娛樂系統(tǒng)和安全駕駛輔助系統(tǒng)兩者功能的汽車運算系統(tǒng)。

　　安全駕駛輔助系統(tǒng)預(yù)計將在從車載攝像頭傳輸過來的視頻的基礎(chǔ)上進行認(rèn)知處理，如識別障礙、監(jiān)測駕駛員的狀態(tài)及預(yù)測和避免危險。隨著如瑞薩的R-Car T2車載攝像頭網(wǎng)絡(luò)SoC等設(shè)備的出現(xiàn)，我們可以預(yù)見從車載攝像頭傳輸過來的視頻數(shù)據(jù)將被編碼形成視頻流，而安全駕駛輔助系統(tǒng)則必須解碼所接收到的視頻流。為了正確地使用廣角攝像頭提供的圖像進行認(rèn)知處理，必須對視頻數(shù)據(jù)進行處理以校正失真。視頻處理要求實現(xiàn)低延遲功能，使這一系統(tǒng)能夠及時地把適當(dāng)?shù)男畔⑼ㄖ{駛員。

　　另一方面，車載信息娛樂系統(tǒng)能夠與多種設(shè)備和服務(wù)交互操作(包括智能電話和云服務(wù))，因此系統(tǒng)中被輸入大量外部視頻信號源的數(shù)據(jù)。同時，配備多個內(nèi)部顯示器(包括后座監(jiān)視器)的車輛變得越來越普遍。這意味著該系統(tǒng)必須能夠處理同時顯示的多個視頻信號。車載信息娛樂系統(tǒng)必須具有足夠的實時處理和顯示大量的視頻數(shù)據(jù)的性能。

　　新研發(fā)的視頻處理電路模塊能夠低延遲地解碼車載攝像頭傳輸過來的視頻流并進行失真校正。它實時并低功耗地進行汽車運算系統(tǒng)所要求的復(fù)雜的視頻處理，但并不對承擔(dān)認(rèn)知處理任務(wù)的CPU和GPU增加任何額外負(fù)荷。

　　新研發(fā)技術(shù)的主要特點：

　　· (1)與流水線操作相結(jié)合，對視頻處理器進行同步操作以實現(xiàn)70 ms延時視頻解碼和失真校正

　　視頻編解碼處理基本上由解析處理和圖像處理構(gòu)成，其中解析處理的處理性能取決于編碼數(shù)據(jù)流的量，圖像處理的處理性能取決于圖像分辨率。新型視頻處理電路模塊采用一個用于解析處理的流處理器和一個用于圖像處理的編解碼處理器來實現(xiàn)視頻編碼和解碼。由于車載信息娛樂系統(tǒng)所處理的典型視頻流數(shù)據(jù)的大小在不同視頻幀之間差異較大，因此處理性能取決于解碼數(shù)據(jù)流大小的流處理器所需的處理時間在不同視頻幀之間也差異很大。另一方面，處理性能取決于圖像分辨率的編解碼器所需的處理時間在每個視頻幀中都是相同的。因此，必須對流處理器和編解碼處理器進行異步操作，但這會導(dǎo)致嚴(yán)重的延時從而產(chǎn)生問題。

　　新研發(fā)的視頻處理電路模塊設(shè)有同步運行模式，該模式利用了流處理器和編解碼處理器之間的FIFO，并能夠在視頻幀間隔之間處理大致相同量的視頻流數(shù)據(jù)，與安全駕駛輔助系統(tǒng)所期望的情況相同。它還設(shè)有一個機制，在這個機制中每當(dāng)視頻幀處理期間完成一個16行的或其倍數(shù)的處理時，編解碼處理器就會輸送一個中斷到CPU，從而允許失真校正在稍后的階段內(nèi)開啟而無須等到視頻幀處理完全結(jié)束。這一同步操作和不完全視頻幀流水線操作的結(jié)合實現(xiàn)了從視頻流的接收到視頻解碼和失真校正的完成僅為70 ms的低延遲(比采用28納米工藝的現(xiàn)有瑞薩設(shè)備降低了40%)。

　　· (2)汽車運算系統(tǒng)優(yōu)化后的六種不同類型的17個視頻處理器，提供業(yè)內(nèi)領(lǐng)先的全高清12路性能

　　新型視頻處理電路模塊集成了六種不同類型的17個視頻處理器，在不對CPU和GPU增加任何額外負(fù)荷的情況下實現(xiàn)實時和低功耗的視頻處理。流處理器和編解碼處理器處理視頻編碼和解碼，渲染處理器進行失真校正，視頻處理器進行一般的圖像處理，混合處理器進行圖像合成，顯示處理器進行屏幕上圖像顯示的處理。各視頻處理器通過多級總線相互連接。

　　視頻處理電路模塊原型采用尖端的16納米FinFET工藝制作并由這些視頻處理器組成，經(jīng)過對這一模塊原型的評估，證明其實現(xiàn)了真正業(yè)內(nèi)領(lǐng)先的全高清12路的性能(比采用28納米工藝的瑞薩現(xiàn)有設(shè)備提高了約3倍)。

　　· (3)兩種類型的數(shù)據(jù)壓縮的結(jié)合，即無損壓縮和有損壓縮，以業(yè)內(nèi)領(lǐng)先的197 mW低功耗減少50%的內(nèi)存帶寬、實現(xiàn)全高清12路處理

　　當(dāng)進行全高清12路視頻所需的大規(guī)模視頻處理時，數(shù)據(jù)訪問是存儲器性能瓶頸和功耗的主要來源。此外，在汽車運算系統(tǒng)中有必要將視頻處理所占用的存儲器帶寬最小化，避免對CPU和GPU的認(rèn)知處理產(chǎn)生干擾。避免對必須保持較高安全級別的安全駕駛輔助系統(tǒng)造成影響是至關(guān)重要的。

　　由此，存儲在存儲器中的圖像數(shù)據(jù)被壓縮以減少存儲器帶寬使用率。無損壓縮不會改變在較大硅片中的像素值和結(jié)果，而有損壓縮會改變在較小的硅片中的像素值和結(jié)果，因此針對圖像處理的特性，用一種適當(dāng)?shù)姆绞绞褂脽o損壓縮和有損壓縮，就有可能在一個典型的視頻處理流程中減少50%的存儲器帶寬。特別是，當(dāng)訪問較小的存儲器模塊時存儲器訪問效率會降低，這意味著存儲器帶寬并沒有被有效降低，為了避免DDR存儲器的這一特有問題，高速緩存被用于視頻解碼，這就包括對小數(shù)據(jù)模塊的大量訪問。這使得增加DDR存儲器的訪問容量和減少70%的有效存儲器帶寬成為可能。對采用尖端的16納米FinFET工藝制作的原型進行評估的結(jié)果顯示，降低存儲器帶寬能夠減少20%的功耗，這與總線上的數(shù)據(jù)處理量成正比，實現(xiàn)了真正業(yè)內(nèi)領(lǐng)先的197 mW全高清12路功耗(比采用28納米工藝的現(xiàn)有瑞薩設(shè)備降低了60%)。

　　新研發(fā)的視頻處理電路模塊可在不對CPU和GPU增加任何額外負(fù)荷的情況下進行海量視頻處理，這將使它實現(xiàn)具實時性能、低功耗和低延時的車載信息系統(tǒng)和安全駕駛輔助系統(tǒng)相結(jié)合的汽車運算系統(tǒng)。瑞薩計劃將新的視頻處理電路模塊加入其未來的汽車運算系統(tǒng)SoC，有助于讓駕車體驗更安全、更方便。

　　2月1日，瑞薩在2016年1月31日至2月4日舊金山舉行的國際固態(tài)電路會議(ISSCC)上發(fā)表了這一技術(shù)。在演示環(huán)節(jié)，瑞薩通過播放全高清12路視頻內(nèi)容、伴隨存儲器帶寬降低率的實時顯示，展示了裝有采用新型視頻處理電路模塊的SoC的測試板的處理性能。