瑞薩為自動駕駛開發(fā)車載SoC，視頻處理延遲時間僅為70ms

　　日本瑞薩電子與瑞薩系統(tǒng)設計公司為未來自動駕駛開發(fā)了車載計算SoC，并于2016年2月1日在半導體集成電路技術國際學會“ISSCC 2016”上發(fā)表了演講(Session 4.4)。瑞薩還在當天的演示會上，演示了使用該SoC同時處理12通道全高清(1980×1080像素、30幀/秒)影像的情況。這是瑞薩車載信息IC“R-CAR”的第3代產品，預定2018年3月開始量產。

　　瑞薩開發(fā)的車載SoC

　　演示會現(xiàn)場。近處為車載儀表，遠處為在顯示器上分12個畫面顯示了全高清影像。

　　演示時使用的板卡。據(jù)說中間的散熱片等部件的下方安裝了此次開發(fā)的SoC。

　　據(jù)介紹，這款SoC在一個芯片上集成了ARM的多個CPU內核、GPU內核以及6種(17個)視頻處理用處理器。瑞薩認為，到2020年前后，汽車的各種儀表、駕駛輔助系統(tǒng)(ADAS)、音響及多個顯示器將會整合在一起，為此而開發(fā)了這種可實現(xiàn)整合的SoC。

　　此次開發(fā)的SoC采用16nm FinFET工藝制造。核心電壓為0.8V，工作頻率為400MHz。外置存儲器設想使用LPDDR-3200。

　　設想的使用方法是，利用視頻處理用處理器群來處理車載攝像頭等的影像，用于娛樂用途，同時面向ADAS以及之后的自動駕駛用途，將這些影像數(shù)據(jù)用于物體識別等。每秒可處理的視頻為7.5億像素。如果是30幀/秒的全高清影像，這相當于約12個通道的影像。同時還支持4K影像，只是通道數(shù)量少一些。

　　處理延遲減少4成，通過流水線處理將總延遲時間縮短至70ms

　　如果只是單純增加像素，也能通過增加處理器內核數(shù)量等方法來實現(xiàn)。據(jù)瑞薩介紹，此次開發(fā)的關鍵點之一是減少了視頻處理延遲。原因是就連泊車等低速行駛時，影像的延遲也必須低于100ms。

　　視頻處理一般首先用流處理器(SP)來處理壓縮的視頻幀，然后用編解碼處理器(CP)來進行解碼等。以往的視頻處理IC因使用SP進行幀處理的時間各不相同，為了消除這種偏差，SP處理之后需要數(shù)幀的緩沖。僅這樣的緩沖就會導致近100ms的延遲。

　　瑞薩為了解決這一問題，對視頻編碼技術進行選擇，讓SP等的處理時間一定，而且不等每幀的SP處理結束，每隔幾個像素就將數(shù)據(jù)移交給CP。由此，SP處理之后就不再需要緩沖了，從而實現(xiàn)了視頻數(shù)據(jù)的流水線處理。SP與CP之間的延遲大幅縮短至1ms。據(jù)介紹，包括之后的失真補償處理等在內，視頻處理的總體延遲減小到了70ms。

　　不過，這并不是最終目標。沒有駕駛員的完全自動駕駛最早有望于2020年代后半期開始，如果實現(xiàn)自動駕駛，就必須進一步大幅縮短處理延遲?！皩淼哪繕耸牵ㄟ^減少SP處理之前的幀緩沖時間等措施，使壓縮視頻數(shù)據(jù)的處理延遲降至10ms以下”(瑞薩系統(tǒng)設計第一開發(fā)事業(yè)部Cockpit業(yè)務推進部第三科首席工程師、在本屆ISSCC發(fā)表演講的望月誠二)。

　　存儲控制器為CPU內核設置了“后門”

　　該SoC的另一個關鍵點是可在SoC向存儲器寫入視頻數(shù)據(jù)時壓縮數(shù)據(jù)。比如，如果以非壓縮形式將12通道全高清視頻數(shù)據(jù)輸入輸出存儲器，用CP進行數(shù)據(jù)編碼及解碼處理時，需要20GB/秒的帶寬，會占用存儲帶寬的40%。這樣可能會對CPU內核及GPU內核負責的物體識別處理產生不良影響。因此，瑞薩通過在訪問存儲器時壓縮數(shù)據(jù)，節(jié)約了存儲帶寬。

　　不過，這樣做存在一個問題。那就是CPU內核等使用的視頻數(shù)據(jù)基本上都是非壓縮的，因此保存在存儲器里的壓縮數(shù)據(jù)不能直接使用。針對這一點，瑞薩在存儲控制器中設置了壓縮數(shù)據(jù)的“影子空間(Shadow space)”。CPU內核訪問壓縮數(shù)據(jù)時，會訪問這一空間，對數(shù)據(jù)進行解壓縮。

　　據(jù)介紹，這樣一來，CP訪問存儲器時的帶寬縮小到了非壓縮時的30%，其他處理器訪問存儲器時的帶寬則縮小到了非壓縮時的50%。由此，連接處理器或存儲器的總線的功耗降低了約50%，SoC的總體功耗也減少20%，降至197mW。

　　此次開發(fā)還有一個關鍵點。那就是這款SoC符合車載IC故障頻率等的標準“ISO26262”。關于這一點，瑞薩在ISSCC 2016的Session 4.5上進行了介紹。