4K版《葫蘆兄弟》，西瓜視頻計劃修復(fù)百部經(jīng)典動畫片，背后原來藏著這些AI算法（2）

色彩增強

色彩失真是老片存在的又一大問題，這主要是由以下兩個原因造成的。

其一，膠片在轉(zhuǎn)錄和數(shù)字化流程中受轉(zhuǎn)錄設(shè)備的影響，帶來了不同程度的色彩偏移，從而背離創(chuàng)作者最初想要表達的畫面。

其二，老片制作流程通?；谂f的播放場景和制作標(biāo)準(zhǔn)，采用較窄的色域和較低的亮度動態(tài)范圍，導(dǎo)致亮度動態(tài)范圍普遍比較低，畫面對比度也就比較差，看起來很昏暗。而如今大部分的中高端手機機型已經(jīng)開始支持 HDR 播放，具有 1200 nit 甚至更高的屏幕亮度和 DCI-P3 的廣色域顯示。

針對造成老片色彩失真的兩方面原因，火山引擎的色彩增強方案進行了有針對性的處理。一方面，基于 AI 進行畫面色偏檢測和修復(fù)，還原創(chuàng)作者初衷；另一方面，SDR 到 HDR 的轉(zhuǎn)換（SDRToHDR）可以將畫面動態(tài)范圍和色域映射到更大的空間（峰值亮度 100nit 到最大 10,000nit，BT.601 到 BT.2020），充分利用用戶顯示設(shè)備的能力，獲得最佳顯示效果。目前，火山引擎的 SDRtoHDR 色彩增強方案處于業(yè)界先進水平。

SDRToHDR 修復(fù)前后的《大頭兒子小頭爸爸》畫面對比如下，可以看到，右邊畫面在色彩明度和豐富度方面均有顯著提升：

消除瑕疵

由于年代久遠(yuǎn)以及保存不當(dāng)?shù)戎骺陀^因素的影響，老膠片可能會出現(xiàn)物理和化學(xué)損傷，導(dǎo)致視頻畫面布滿雪花碎片、黑線和閃動等多類型瑕疵。這時，就需要進行視頻降噪和壞點劃痕修復(fù)。

視頻在采集、剪輯、編碼、轉(zhuǎn)碼、傳輸、顯示等過程中會出現(xiàn)失真，噪聲就是信號采集過程中引入的一種普遍失真。降噪成為了增強視頻畫質(zhì)和提升清晰度的一種手段。傳統(tǒng)視頻降噪算法可以分為基于空間域和基于時域的降噪，基于機器學(xué)習(xí)的視頻降噪算法也得到了越來越多的研究，如 2019 年 4 月荷蘭代爾夫特理工大學(xué)提出的深度盲去噪算法 ViDeNN 等。

對于老電影，由于膠片自身的損傷，背景上一般都會有很多壞點劃痕，比如一條條的豎線。去劃痕非常有必要。經(jīng)典解決方法通常分兩步走：檢測和去除。劃痕檢測大多采用直線檢測方式，找到空間中的豎線、橫線，然后利用空間或時間插值把這條線用別的像素給補上去。

但是，相較于常見的視頻瑕疵，老片的瑕疵不僅類型復(fù)雜而且程度更嚴(yán)重，為此火山引擎結(jié)合了傳統(tǒng)信號處理和深度學(xué)習(xí)算法，對噪聲和壞點劃痕進行有針對性的修復(fù)：對于較小的雪花顆粒噪聲，使用傳統(tǒng)算法進行處理；對于較大的壞點和劃痕，使用機器學(xué)習(xí)算法進行識別和修補。

效果立竿見影，從下圖《布谷鳥叫遲了》畫面的修復(fù)對比效果可以看到，算法強力地修復(fù)了瑕疵，并且保留原有紋理不受影響：

然而算法也不是萬能的。在實際修復(fù)過程中，如果要求算法實現(xiàn) 100% 的處理瑕疵，那么會很容易將一些藝術(shù)效果也識別為瑕疵，從而對影片造成了破壞。

因此，在這次老片修復(fù)過程中，火山引擎采用了算法處理和人工標(biāo)注結(jié)合的方案，其中算法大概能解決 95% 以上的瑕疵問題，剩余 5% 的瑕疵需要由人工輔助標(biāo)注。然后告訴算法，再調(diào)整算法做二次優(yōu)化。這樣一來，我們既可以比較徹底地消除瑕疵，也能保護影片原有的藝術(shù)風(fēng)格。

不過，對損傷嚴(yán)重的老片來說，徹底消除瑕疵需要投入大量人力。以《葫蘆兄弟》為例，修復(fù)團隊在消除瑕疵的過程中看了 20 萬幀的畫面。

鋸齒修復(fù)

老片在數(shù)字化的過程中，采樣做的不好，往往會出現(xiàn)頻譜混淆的鋸齒效應(yīng)，導(dǎo)致觀感不佳。目前，業(yè)界的大部分鋸齒修復(fù)都是針對低分辨率向上采樣導(dǎo)致的情況進行處理，老片中的鋸齒很多是向下采樣時出現(xiàn)的。因此，對于已經(jīng)產(chǎn)生的頻譜混淆的情況，業(yè)界算法大多都沒法處理。

下圖左哪吒出世畫面中明顯的線條鋸齒正是向下采樣頻譜混淆導(dǎo)致的，這一問題只在部分場景中出現(xiàn)，很難定位，但不解決的話會嚴(yán)重影響觀感，也會影響其他算法的效果。因此，針對這種場景，火山方案單獨設(shè)計了一個優(yōu)化算法，使畫面鋸齒效應(yīng)得到非常大的改善。

我們還應(yīng)該看到，每個動畫片存在的畫質(zhì)問題不可能完全相同，對此火山引擎采用了「對癥下****，一片一方案」的應(yīng)對方法?；鹕揭娑嗝襟w實驗室研究員趙世杰解釋道，一部動畫片（以《黑貓警長》為例）可能會在分辨率、幀率、瑕疵、色彩、模糊和鋸齒中的幾個方面存在著問題，那么就有針對性地采取超分辨率、倍幀、去噪、去劃痕和 HDR，實現(xiàn)最精準(zhǔn)的視頻修復(fù)。

最后需要提到的是，4K 修復(fù)使用到的這些技術(shù)，目前已通過火山引擎智能處理向包括抖音、今日頭條、西瓜視頻、皮皮蝦 APP、圖蟲、虎撲和懂球帝等內(nèi)外部的客戶提供服務(wù)，從而讓更多的企業(yè)參與到老片的修復(fù)中，為當(dāng)代觀眾帶來更多的 4K 超高畫質(zhì)影片。

火山引擎智能處理官方網(wǎng)站：https://www.volcengine.com/products/IMP

參考鏈接：

http://www.atyun.com/46758.html

https://www.jiqizhixin.com/articles/2020-05-10

https://cloud.tencent.com/developer/article/1089304

http://www.xinhuanet.com/ent/2019-10/21/c_1125129740.htm

https://kjt.hebei.gov.cn/www/kxpj22/kxbl56/197445/index.html

http://culture.people.com.cn/n/2013/0910/c172318-22873573.html