8K超高分辨率視頻處理系統(tǒng)分析與設(shè)計(jì)

作者 林文富 劉偉儉 廣東威創(chuàng)視訊科技股份有限公司(廣州 廣東 510000)

*基金項(xiàng)目：2014年產(chǎn)學(xué)研專項(xiàng)項(xiàng)目，支持小間距LED顯示的多屏實(shí)時(shí)處理器系統(tǒng)的研發(fā)(編號(hào)：2014Y2-00211)

林文富(1982-)，男，碩士，中級(jí)電子工程師，研究方向：視頻處理;劉偉儉，男，博士，中級(jí)電子工程師，研究方向：視頻處理及顯示技術(shù)。

摘要：隨著視頻技術(shù)的不斷發(fā)展，分辨率從480P發(fā)展到1080P;當(dāng)我們還沒(méi)有完全意識(shí)到4K電視將一統(tǒng)天下的時(shí)候， 2016年8月，里約奧運(yùn)會(huì)已經(jīng)開始了8K的直播。8K視頻要求需要處理每幀約33M像素的數(shù)據(jù)量，海量的數(shù)據(jù)處理為目前的視頻處理系統(tǒng)帶來(lái)了一個(gè)非常大的挑戰(zhàn)。在目前的大屏幕拼墻領(lǐng)域，從視頻采集到視頻傳輸與處理各個(gè)環(huán)節(jié)來(lái)看，目前的視頻處理平臺(tái)均無(wú)法滿足。因此，本文針對(duì)現(xiàn)在的8K帶寬進(jìn)行分析，設(shè)計(jì)了一個(gè)全新的8K視頻處理平臺(tái)，使得8K視頻可以在大屏幕拼接領(lǐng)域得到廣泛應(yīng)用。

引言

　　8K的標(biāo)準(zhǔn)早在幾年前就已經(jīng)確立，8K的視頻源隨后也逐步出現(xiàn)。2012年8月23日，聯(lián)合國(guó)旗下的國(guó)際電訊聯(lián)盟(International Telecommunication Union - ITU)通過(guò)了以日本NHK電視臺(tái)所建議的7680x4320解像度^[2]作為國(guó)際的8K超高畫質(zhì)電視(Super Hi-Vision - SHV)標(biāo)準(zhǔn);2013年，日本NHK制作電影《珍饈美味》，使用8K分辨率(7680×4320)拍攝、制作和放映，清晰度是1080p的16倍，在未經(jīng)壓縮的情況下，8K視頻(24fps)每秒的容量即可達(dá)到1GB;2015年，NHK采用8K技術(shù)直播加拿大女足世界杯;2016年8月5日，第31屆夏季奧林匹克運(yùn)動(dòng)會(huì)在巴西的里約熱內(nèi)盧舉行，8K直播是一個(gè)亮點(diǎn)。

　　隨著標(biāo)準(zhǔn)的確立，8K攝像機(jī)發(fā)展也非常迅速。2012年，NHK推出的的Super Hi-Vision視頻采集攝像機(jī)，體積較大;2013年以后的Super Hi-Vision視頻采集攝像機(jī)則小巧便攜許多。Sony F65RS即為目前市場(chǎng)上的一款8K攝像機(jī)。Panavision 2016年6月正式發(fā)布DXL。 Panavision DXL號(hào)稱是最完整的攝影機(jī)系統(tǒng)，配有一個(gè)35.5兆像素的8K CMOS傳感器，可以以最高60 fps錄制8K視頻。

　　8K帶來(lái)的圖像效果是非常逼真的，可以帶來(lái)超越傳統(tǒng)廣電畫質(zhì)的精細(xì)感，同時(shí)，8K的彩色還原度達(dá)到75.8%，可以看到4K和1080p里看不到的色彩。但是，在8K視頻處理方面，因?yàn)槠渚薮蟮臄?shù)據(jù)量，存在很大的問(wèn)題。以8K視頻24幀為例，如果每位色深達(dá)到6bit，處理單路8K的數(shù)據(jù)帶寬需要高達(dá)14.3Gbps。在目前的拼墻領(lǐng)域，能處理單路的最大分辨率只能達(dá)到4K，尚無(wú)專業(yè)處理器能處理8K的分辨率。如此巨大的數(shù)據(jù)量，在視頻采集端，需要有專用的芯片來(lái)采集;在進(jìn)行數(shù)據(jù)傳輸時(shí)候，也需要針對(duì)如此高的帶寬專門設(shè)計(jì)數(shù)據(jù)傳輸通道來(lái)進(jìn)行傳輸^[3];視頻處理這塊，目前還沒(méi)有專門芯片來(lái)進(jìn)行8K視頻的疊加、縮放等處理。針對(duì)這些現(xiàn)狀，在大屏處理領(lǐng)域?qū)@些問(wèn)題都是一個(gè)很大的挑戰(zhàn)。

1 8K視頻處理系統(tǒng)結(jié)構(gòu)和工作原理

　　8K視頻處理系統(tǒng)的困難主要在于帶寬這塊，因此，基于目前的芯片處理水平，設(shè)計(jì)其處理系統(tǒng)的主要思路是對(duì)視頻進(jìn)行分割處理。一路8K視頻，最終通過(guò)視頻處理器后，輸出16路1080p的視頻。工作原理主要是通過(guò)索喜的8K解碼芯片將碼流變成4路HDMI2.0輸出，4路HDMI2.0最終分解成16路1080p視頻在拼接墻上顯示。具體的視頻處理框圖如圖2所示。每個(gè)HDMI2.0相當(dāng)于一個(gè)4K的視頻，8K相當(dāng)于4個(gè)4K視頻的組合。HDMI2.0的碼流出來(lái)后，通過(guò)高速的FPGA芯片，解碼HDMI2.0后，將每路的HDMI2.0信號(hào)再次分解成4路1080p的視頻流，方便后續(xù)高速信號(hào)傳輸與處理。在高速邏輯芯片內(nèi)將2路1080P視頻進(jìn)行數(shù)據(jù)串行化傳輸，每對(duì)serdes對(duì)的速率高達(dá)6.25Gbps。針對(duì)大屏幕拼墻的特殊應(yīng)用，每對(duì)高速serdes對(duì)還進(jìn)入一個(gè)高速交叉模塊，該模塊主要功能是對(duì)視頻信號(hào)進(jìn)行調(diào)度，類似矩陣功能，滿足拼接顯示的需要。串行化視頻經(jīng)過(guò)傳輸路徑到達(dá)后端的FPGA芯片后，在芯片內(nèi)進(jìn)行解串處理，同時(shí)，以1080p為單位在邏輯內(nèi)部做視頻處理，包括疊加、縮放、圖像增強(qiáng)和旋轉(zhuǎn)等，處理完畢后，輸出到TMDS編碼芯片SII1164。最后，sII1164以DVI的形式輸出視頻到拼接墻。

　　在具體的處理器系統(tǒng)里，圖2中功能模塊會(huì)分到幾個(gè)板塊里完成，分別是8K信號(hào)采集板、高速信號(hào)交換板和信號(hào)輸出處理板。其中，8K信號(hào)采集板完成8K信號(hào)的解碼、分割與serdes發(fā)送功能，交換板完成高速信號(hào)的交叉分發(fā)功能，信號(hào)輸出處理板完成信號(hào)的解串、視頻處理與輸出功能。

2 8K視頻信號(hào)處理

　　整個(gè)系統(tǒng)設(shè)計(jì)的關(guān)鍵在于8K視頻信號(hào)的處理。截止到目前為止，因?yàn)?K的標(biāo)準(zhǔn)沒(méi)有非常明確，相應(yīng)的視頻處理芯片廠家也在觀望，所以，相關(guān)的8K視頻處理芯片非常少。如目前SiI9779、SiI9630等廠家宣傳支持8K，但是最終也沒(méi)有推出該功能。目前主推8K技術(shù)的是日本NHK，其預(yù)計(jì)在2020年的東京奧運(yùn)會(huì)上進(jìn)行8K直播。富士通株式會(huì)社與松下電器產(chǎn)業(yè)株式會(huì)社對(duì)兩家公司的系統(tǒng)LSI業(yè)務(wù)進(jìn)行合并，成立索喜科技有限公司(Socionext)。新品牌體現(xiàn)了公司的核心業(yè)務(wù)在于SoC及具有競(jìng)爭(zhēng)優(yōu)勢(shì)的Imaging(視頻和成像領(lǐng)域)和OpticalTransport Network(光纖通信網(wǎng)絡(luò)領(lǐng)域)技術(shù)領(lǐng)域意義。Socionext在2016年推出一款單芯片8K處理芯片SCH801A。SCH801A與日本超高清衛(wèi)星廣播HEVC編碼的標(biāo)準(zhǔn)ARIB STD-B32第一部分一致，能夠單芯片單通道解碼8K 60P，其配備一個(gè)PCI Express二代插槽，4路HDMI 2.0 Tx外部接口。8K的視頻碼流通過(guò)前端芯片SCH801A解碼后，輸出4路HMDI2.0的視頻信號(hào)。從帶寬上來(lái)看，HDMI2.0的最高帶寬高達(dá)18Gbps，4個(gè)通道加起來(lái)帶寬可達(dá)72Gbps，足夠傳輸一路8K的視頻信號(hào)。

　　在本設(shè)計(jì)中是采用高速FPGA進(jìn)行HDMI2.0信號(hào)的解碼，通過(guò)HDMI的解碼模塊來(lái)將標(biāo)準(zhǔn)的HDMI信號(hào)轉(zhuǎn)換為并行的data數(shù)據(jù)。具體HDMI的解碼模塊設(shè)計(jì)框圖如圖3。TMDS數(shù)據(jù)進(jìn)入Deskew模塊進(jìn)行數(shù)據(jù)的重新對(duì)齊與重排;數(shù)據(jù)進(jìn)入TMDS decoder模塊，從模塊中分離出video data與AUX data。視頻數(shù)據(jù)進(jìn)入視頻采樣模塊，分離出clk、HS、VS和video data。輔助數(shù)據(jù)進(jìn)入Auxiliary Packet Capture模塊，分離出控制數(shù)據(jù)包和音頻數(shù)據(jù)等。視頻數(shù)據(jù)分離出后，為了方便在拼墻處理器中進(jìn)行數(shù)據(jù)傳輸，在通過(guò)FPGA的并串轉(zhuǎn)換模塊時(shí)，轉(zhuǎn)為串行數(shù)據(jù)進(jìn)行傳輸。每對(duì)HDMI的信號(hào)通過(guò)2對(duì)高速的serdes信號(hào)進(jìn)行傳輸，方便視頻調(diào)度模塊進(jìn)行調(diào)度。

3 視頻調(diào)度模塊

　　在該模塊中，主要是視頻信號(hào)調(diào)度、時(shí)鐘處理模塊、通信模塊、CPU系統(tǒng)模塊等為各個(gè)模塊業(yè)務(wù)控制的核心。視頻信號(hào)交叉調(diào)度模塊采用高速串行空分交換技術(shù)，調(diào)度高速串行數(shù)據(jù)信號(hào)，傳輸該高速串行數(shù)據(jù)信號(hào)。根據(jù)預(yù)定的輸入端口與輸出端口的對(duì)應(yīng)關(guān)系，將各輸入的高速串行數(shù)據(jù)信號(hào)通過(guò)相應(yīng)的端口輸出，傳輸?shù)较鄳?yīng)的視頻處理模塊中。

　　時(shí)鐘處理模塊用來(lái)產(chǎn)生參考時(shí)鐘信號(hào)，并將所生成的參考時(shí)鐘信號(hào)提供給各個(gè)8K視頻模塊、各個(gè)視頻信號(hào)處理模塊、信號(hào)擴(kuò)展交換平臺(tái)等。8K視頻模塊、視頻信號(hào)處理模塊及信號(hào)擴(kuò)展交換平臺(tái)等在本單板提供的系統(tǒng)參考時(shí)鐘的同步下，分別產(chǎn)生用于本模塊高速串行處理業(yè)務(wù)所需的模塊時(shí)鐘。

　　CPU系統(tǒng)模塊還負(fù)責(zé)各個(gè)8K視頻模塊及視頻信號(hào)處理模塊等系統(tǒng)控制，各個(gè)模塊與主控交叉板之間的通信方式采用以太網(wǎng)方式進(jìn)行信息交換，同時(shí)，各模塊間在以太網(wǎng)通信異常時(shí)，可以切換到備份通道中進(jìn)行系統(tǒng)控制，提高系統(tǒng)可靠性。

4 視頻處理模塊

　　視頻信號(hào)處理模塊對(duì)視頻信號(hào)調(diào)度后的高速串行信號(hào)進(jìn)行解串行化、切割、縮放、疊加等處理，最后輸出處理后的圖像信號(hào)。

　　通過(guò)圖像信號(hào)采集模塊對(duì)信號(hào)的串行化處理和主控交叉模塊的調(diào)度，在視頻信號(hào)處理模塊的輸入端口可獲得任意需要的輸入信號(hào)，輸入的信號(hào)是高速的串行信號(hào)，必須進(jìn)行解串后才能進(jìn)行信號(hào)之后的處理。解串行化是串行化的逆向過(guò)程。輸入信號(hào)的分辨率與所需顯示的窗口大小通常都是不相同的，從解串行化模塊還原出的圖像必須進(jìn)行縮放處理，同時(shí)，顯示的窗口可能跨多個(gè)顯示單元，每個(gè)單元只顯示一部分，通過(guò)切割截取所需的圖像數(shù)據(jù)，并進(jìn)行相應(yīng)的縮放處理。最后，由輸出驅(qū)動(dòng)部分完成疊加后的圖像信號(hào)轉(zhuǎn)換成標(biāo)準(zhǔn)的16路DVI信號(hào)輸出。

5 結(jié)論

　　本文針對(duì)目前在拼墻領(lǐng)域8K視頻遇到的一些問(wèn)題和技術(shù)瓶頸進(jìn)行了詳細(xì)的分析，提出了一種8K視頻處理器平臺(tái)的設(shè)計(jì)方案。設(shè)計(jì)方案采用了索喜的8K解碼芯片，把超高分辨率的視頻分解成4路HDMI信號(hào)，并通過(guò)FPGA把4路的HDMI進(jìn)行再次解碼分析，最后，通過(guò)視頻處理輸出到大屏幕拼墻應(yīng)用顯示。該系統(tǒng)方案在筆者設(shè)計(jì)的處理器樣機(jī)原型中得到實(shí)際應(yīng)用和時(shí)間驗(yàn)證，運(yùn)行效果良好，并大大提高了屏幕的畫面精細(xì)度，具有很高的實(shí)用價(jià)值。

　　參考文獻(xiàn)：

　　[1]覃毅力,韋安明,張韜.超高清電視關(guān)鍵技術(shù)探析[J].Content Production & Broadcasting,2013,05.

　　[2]鄒霽.大尺寸超高清晰度等離子顯示器的研發(fā)及運(yùn)用[J].電視技術(shù),2012,36(20).

　　[3]李遠(yuǎn)東,凌明偉.8K超高清電視廣播的大容量無(wú)線傳輸技術(shù)綜述[J].電視技術(shù)，2014,38(16).

　　[4]唐成基,賈智強(qiáng),李桂蘭. H.265壓縮技術(shù)在廣電網(wǎng)絡(luò)中的應(yīng)用[M].中國(guó)廣電技術(shù)文萃, 2015,1.

　　本文來(lái)源于《電子產(chǎn)品世界》2017年第7期第40頁(yè)，歡迎您寫論文時(shí)引用，并注明出處。