超高清電視終端顯示圖像畫質(zhì)提升技術(shù)研究*
摘要:文章提出超高清電視終端的AI色帶平滑技術(shù)、AI超級增補技術(shù)、AI動態(tài)目標(biāo)降噪技術(shù),能夠降低超高清電視終端顯示標(biāo)清或高清視頻內(nèi)容時的色帶、物體細節(jié)模糊、動態(tài)目標(biāo)拖尾,解決了標(biāo)清或高清視頻內(nèi)容的色深、清晰度、噪聲無法滿足超高清電視終端顯示要求的矛盾,有效提升了超高清電視終端顯示圖像畫質(zhì)。該技術(shù)已應(yīng)用于創(chuàng)維超高清電視產(chǎn)品,效果良好,產(chǎn)生了良好效益。
本文引用地址:http://butianyuan.cn/article/202208/437269.htm關(guān)鍵詞:超高清電視;AI色帶平滑;AI超級增補;AI動態(tài)目標(biāo)降噪
*科研項目:廣東省科技計劃項目——2021年度廣東省5G+8K超高清視頻顯示企業(yè)重點實驗室(項目編號:2021B1212050008)
1 引言
4K 超高清電視自 2011 年進入消費市場后得到迅猛 發(fā)展 , 至 2018 年已成為主導(dǎo)產(chǎn)品,同時 8K 超高清電視也在起步并成為產(chǎn)品升級的必然方向 [1]。超高清電視終端解析顯示能力達到 3840×2160 或 7680×4320 像素 [2],超高清電視終端顯示超高清視頻內(nèi)容時的畫面質(zhì)量(畫質(zhì))好、臨場感強,能夠帶來震撼的視覺體驗。然而目前大部分視頻源還是標(biāo)清或高清內(nèi)容,視頻源質(zhì)量較低,其色深、清晰度、噪聲等無法滿足超高清顯示要求。超高清電視終端與低質(zhì)視頻源之間的突出矛盾,嚴重制約用戶視頻體驗,不能給廣大用戶帶來美好的視覺享受。近年來人工智能(artificial intelligence, AI)技術(shù)發(fā)展迅速,AI 技術(shù)在圖像處理領(lǐng)域應(yīng)用日益廣泛,采用 AI 來提升電視清晰度等技術(shù)開始了廣泛地研究 [3]。
本文開展超高清電視終端顯示圖像畫質(zhì)提升技術(shù)研究,提出超高清電視終端的 AI 色帶平滑技術(shù)、AI 超級增補技術(shù)、AI 動態(tài)目標(biāo)降噪技術(shù),能夠降低超高清電視終端顯示標(biāo)清或高清視頻時的色帶和物體細節(jié)模糊、動態(tài)目標(biāo)拖尾,避免顯示圖像的色彩突變和保持色彩過渡平滑,提高人眼感知清晰度和精細重現(xiàn)視頻細節(jié),以及去除視頻中的噪聲并保證圖像細節(jié),能夠有效提升超高清電視終端顯示圖像的畫質(zhì)。本文提出的技術(shù)已使用于創(chuàng)維超高清電視產(chǎn)品,產(chǎn)生了良好效果。
2 AI色帶平滑處理技術(shù)
當(dāng)高色深顯示終端顯示較低色深數(shù)字視頻信號時,由于存在色階差異會產(chǎn)生色帶現(xiàn)象。傳統(tǒng)的去除色帶技術(shù),主要針對原生色深視頻圖像的色彩丟失情況進行統(tǒng)計分析和 2~4 倍的色深度補償,但無法處理大的色深色彩丟失及視頻壓縮造成的色深損失。超高清電視終端顯示色深一般為 8~12 位,而目前大部分數(shù)字視頻源還是 8 位以下色深,即使采用傳統(tǒng)去除色帶技術(shù),超高清電視顯示低位色深視頻時也會產(chǎn)生色帶現(xiàn)象、甚至嚴重的色彩失真。
AI 色帶平滑處理是通過對圖像色帶特征進行訓(xùn)練并分析出視頻圖像色階缺失部分(即色帶區(qū)域),動態(tài)補償色階缺失部分圖像像素的顏色,使得色帶過渡平滑,避免圖像顏色突變,從而使得色彩呈現(xiàn)更好。AI 色帶平滑處理原理框圖如圖 1 所示。
AI 色帶平滑處理原理為:首先采用神經(jīng)網(wǎng)絡(luò)激活函數(shù)對輸入的視頻圖像進行色帶特征分析訓(xùn)練,設(shè)定目標(biāo)函數(shù)及目標(biāo)值,檢測出符合目標(biāo)特征的色帶區(qū)域并進行標(biāo)記;然后統(tǒng)計計算色帶區(qū)域與相鄰區(qū)域的圖像像素的差值并估算細節(jié)補償值,對色帶區(qū)域的像素按照設(shè)定權(quán)重函數(shù)進行細節(jié)補償、實現(xiàn)像素值調(diào)整;最后用抖動算法修正色帶區(qū)域像素值,實現(xiàn)顏色的平滑處理。
圖1 AI色帶平滑處理框圖
由圖 1 可見,低色深視頻圖像未進行 AI 色帶平滑處理時,存在明顯的色帶,背景圖像部分尤其明顯。在經(jīng)過 AI 色帶平滑處理處理后,色帶明顯減輕,背景圖像部分的顏色較為平滑,有效避免圖像顏色過渡突變、使得圖像色彩失真小和過渡平滑,顯示圖像的畫質(zhì)、尤其是背景圖像的色彩呈現(xiàn)明顯得到改善。
3 AI超級增補技術(shù)
目前超高清分辨率視頻資源非常缺乏,主要是標(biāo)清 480 像素或高清 720/(1 080)像素分辨率視頻內(nèi)容。超高清電視終端一般采用傳統(tǒng)圖像拉伸和銳度增強算法來進行超分處理,將低分辨率視頻轉(zhuǎn)換成超高清分辨率視頻圖像后進行顯示。傳統(tǒng)超分算法只能增強低分辨率視頻中已有的細節(jié)和物體邊緣,無法重建低分辨率視頻源采樣頻率以上的頻率范圍,即傳統(tǒng)超分處理前后視頻圖像的頻率范圍一致;由于超高清視頻圖像頻率需要遠高于標(biāo)清或高清視頻圖像的頻率時才能顯示更加清晰細膩,因此傳統(tǒng)超分算法處理后的超高清顯示圖像將會出現(xiàn)細節(jié)模糊和物體邊緣鋸齒現(xiàn)象。尤其是壓縮率較高的網(wǎng)絡(luò)標(biāo)清或高清視頻,以及存在大量后期制作動畫效果的視頻,在超高清電視上顯示時細節(jié)模糊和邊沿鋸齒更加明顯,嚴重影響了視頻圖像顯示質(zhì)量,觀看者甚至認為超高清電視顯示清晰度還不如高清電視。
AI 超級增補是基于機器學(xué)習(xí)的方式,針對低分辨率視頻圖像中局部范圍內(nèi)的結(jié)構(gòu)特性,進行算法訓(xùn)練和識別 2D 結(jié)構(gòu)(二維結(jié)構(gòu)),然后在不同畫面放大倍率下依據(jù) 2D 結(jié)構(gòu)重塑細節(jié),改善物體結(jié)構(gòu)邊緣的精細銳利程度。如圖 2 所示,為 AI 超級增補(右)與傳統(tǒng)方向性插值(左)處理效果對比。
圖2 AI超級增補(右)與傳統(tǒng)方向性插值(左)處理效果對比
AI 超級增補重塑視頻源中不存在的人眼視覺細節(jié)特征,可改善在大倍率放大時存在的物體邊緣鋸齒化現(xiàn)象,提高人眼感知清晰度、精細重現(xiàn)視頻細節(jié),提升超高清電視顯示低分辨率視頻圖像內(nèi)容時的畫質(zhì)。
4 AI動態(tài)目標(biāo)降噪技術(shù)
在視頻圖像的獲取、轉(zhuǎn)換與傳輸過程中,受到硬件系統(tǒng)設(shè)備自身因素與外界環(huán)境的影響,獲取的圖像信息包含一些隨機、離散或孤立的點,即圖像噪聲。電視顯示圖像對噪聲非常敏感,降噪在電視圖像處理中非常重要。電視中一般采用 3D-IIR 濾波器,通過時域上的迭代來達到平順低通濾波;然而 3D-IIR 濾波器的時空域覆蓋范圍通常較小,當(dāng)視頻中噪聲較大并存在運動物體目標(biāo)時,運動物體周圍區(qū)域的降噪效果明顯下降、如果強制提高降噪強度則會產(chǎn)生嚴重細節(jié)丟失及物體拖尾現(xiàn)象,對超高清圖像顯示尤其明顯。
AI 動態(tài)目標(biāo)降噪采用稀疏濾波算法,針對大量視頻源中不同的目標(biāo)個體獨立的運動軌跡,進行算法訓(xùn)練,分析對比物體目標(biāo)在運動過程中與周圍其它物體和環(huán)境的頻譜,分離實際物體與背景噪聲,在運動過程中進行頻域和時域聯(lián)合降噪,降低動態(tài)噪聲、并重構(gòu)物體細節(jié),解決較大噪聲視頻降噪問題及避免運動物體產(chǎn)生的細節(jié)丟失和拖尾現(xiàn)象。
AI 動態(tài)目標(biāo)降噪處理原理為:首先采用稀疏濾波算法對視頻進行分析處理,提取出物體邊緣特征,并依此將圖像拆分為背景圖像與運動目標(biāo)物體,對背景圖像與運動目標(biāo)物體進行時域分析和頻域分析;然后分別對背景圖像和運動目標(biāo)物體進行時域降噪,并實時分析視頻源中不同目標(biāo)物體的運動軌跡及其運動過程中的頻譜、對運動目標(biāo)物體邊沿進行細節(jié)重構(gòu),將處理后的背景圖像和運動目標(biāo)物體融合為完整圖像;更新圖像的噪聲水平,進行空域降噪,輸出得到最終降噪完畢的圖像。
由圖 3 可見,大噪聲圖像經(jīng)過 AI 動態(tài)目標(biāo)降噪處理后,噪聲得到明顯降低,無物體細節(jié)丟失,顯示圖像的畫質(zhì)明顯提升。
5 系統(tǒng)應(yīng)用
AI 色帶平滑處理、AI 超級增補和 AI 動態(tài)目標(biāo)降噪技術(shù)已經(jīng)在多個電視產(chǎn)品中進行了應(yīng)用,涵蓋 55 英寸 至 86 英寸(1 英寸 =2.54 cm),包括創(chuàng)維超高清電視 Q6A、Q51、S81、W81 等產(chǎn)品系列,這些產(chǎn)品在播放標(biāo)清或高清視頻內(nèi)容時,能夠較好的平滑色帶、提升顯示清晰度、降低噪聲時運動物體細節(jié)無丟失和拖尾,顯示時能夠呈現(xiàn)良好的圖像畫質(zhì)。
6 結(jié)語
文章采用 AI 色帶平滑處理技術(shù),深入對視頻圖像的色帶特征進行訓(xùn)練分析和像素補償,避免圖像顏色過渡突變,使得圖像色彩失真小和過渡平滑;采用 AI 超級增補技術(shù),基于機器學(xué)習(xí)的方式識別視頻圖像 2D 結(jié)構(gòu)和重塑細節(jié),增補視頻源中不存在的人眼視覺細節(jié)特征、改善物體邊緣鋸齒,提高人眼感知清晰度、精細重現(xiàn)視頻細節(jié);以及采用 AI 動態(tài)目標(biāo)降噪技術(shù),通過稀疏濾波算法來分析視頻源中不同目標(biāo)物體的運動軌跡及其運動過程中的頻譜,分離出物體對象和背景噪聲、并消除噪聲和重構(gòu)物體對象細節(jié)。
文章技術(shù)的使用能夠降低超高清電視終端在播放低質(zhì)視頻源時顯示圖像的色彩突變、物體邊緣鋸齒、運動物體噪聲,使得顯示圖像的色彩過渡平滑、人眼感知清晰度高、細節(jié)豐富,有效提升了顯示圖像的畫質(zhì)。技術(shù)已經(jīng)在創(chuàng)維 Q6A、W81 等超高清電視產(chǎn)品上得到了大規(guī)模使用,效果良好。
參考文獻:
[1] 徐遙令.一種8K超高清電視系統(tǒng)設(shè)計方案[J].電子產(chǎn)品世界,2018,25(6):28-30.
[2] 李超,時大鑫.超高清晰度顯示技術(shù)[J].現(xiàn)代顯示,2010(5):99-103.
[3] FU B,LI Y,WANG X H,REN Y G. Image super-resolution
using TV priori guided convolutional network[J].Pattern
Recognition Letters,2019,125(7):780-784.
(注:本文轉(zhuǎn)載自《電子產(chǎn)品世界》雜志2022年8月期)
評論