4K版《葫蘆兄弟》，西瓜視頻計(jì)劃修復(fù)百部經(jīng)典動(dòng)畫片，背后原來(lái)藏著這些AI算法（1）

「經(jīng)典作品凝結(jié)了老藝術(shù)家的智慧與精神，值得投入大力氣做好修復(fù)?！固岬?4K 經(jīng)典中視頻修復(fù)時(shí)，西瓜視頻總裁任利鋒這樣說(shuō)道。

「葫蘆娃，葫蘆娃，一根藤上七朵花，風(fēng)吹雨打，都不怕，啦啦啦啦……」

當(dāng)這首熟悉的旋律響起時(shí)，很多 80、90 后的腦海中浮現(xiàn)出的想必是黑白電視機(jī)版的《葫蘆兄弟》，或者是更鮮艷的彩色版本：

現(xiàn)在來(lái)看，無(wú)論是畫面的清晰度還是色彩的明亮度，這些稍顯「古老」的視頻已經(jīng)無(wú)法滿足當(dāng)代人的觀看需求了。另外，隨著圖像超分辨率、FPS 提升、色彩填充等各種 AI 技術(shù)不斷地進(jìn)步，越來(lái)越多的個(gè)人用戶和視頻網(wǎng)站想要對(duì)老視頻進(jìn)行修復(fù)，比如 1080、2K 和 4K 修復(fù)，以更清晰的視角重拾舊時(shí)光。

與此同時(shí)，4K 高清設(shè)備和 4K 視頻內(nèi)容的普及也使得對(duì)經(jīng)典老影片進(jìn)行 4K 修復(fù)成為一大需求，修復(fù)后的影片既能保留原始質(zhì)感，又可以展現(xiàn)更清晰的畫質(zhì)、更飽滿的色彩和更棒的音效。

然而，經(jīng)典中視頻何止千萬(wàn)，4K 修復(fù)的工程量浩瀚，又當(dāng)如何滿足人們對(duì) 4K 經(jīng)典老影片的觀看需求呢？

西瓜視頻攜手火山引擎，給出了他們的答案。

10 月 20 日，西瓜視頻聯(lián)合火山引擎舉辦了主題為「重修舊好」的經(jīng)典中視頻 4K 修復(fù)發(fā)布會(huì)，會(huì)上宣布將通過(guò)技術(shù)手段，在一年內(nèi) 4K 修復(fù)百余部經(jīng)典中視頻。其中，火山引擎團(tuán)隊(duì)提供技術(shù)支持，修復(fù)后的視頻內(nèi)容，用戶可免費(fèi)在西瓜視頻上觀看。西瓜視頻也將開(kāi)放入口，為普通用戶免費(fèi)提供 AI 修復(fù)支持，同時(shí)對(duì)有價(jià)值的視頻提供深度的公益修復(fù)。

西瓜視頻總裁任利鋒表示，「修復(fù)經(jīng)典是傳承，也是用新技術(shù)最大化還原作品，帶給大家新的感受和認(rèn)知。不管是修復(fù)動(dòng)畫片，還是修復(fù)老影像，歸根到底，都不只是為了提高它的清晰度。我們想要修復(fù)的是這些內(nèi)容背后的記憶，呈現(xiàn)幾代人因?yàn)檫@些記憶隔空產(chǎn)生的共鳴和火花。」

任利鋒。圖源：西瓜視頻

會(huì)上還公布了首批合作伙伴，包括央視動(dòng)漫和上海美術(shù)電影制片廠，計(jì)劃修復(fù)的百部影片部分如下：

哪吒?jìng)髌妫?003）、圍棋少年（2005）、圍棋少年（2）、大頭兒子和小頭爸爸（1995）、 黑貓警長(zhǎng) 1-5 集、我為歌狂（2001）、三個(gè)和尚、小鯉魚(yú)歷險(xiǎn)記（2007）、葫蘆兄弟（1986）、葫蘆小金剛 1-6 集、西游記、小蝌蚪找媽媽、小鯉魚(yú)跳龍門、大耳朵圖圖（第一季）、舒克和貝塔 1-13 集等。

目前，小鯉魚(yú)歷險(xiǎn)記（2017）、小蝌蚪找媽媽、哪吒?jìng)髌妫?003）、黑貓警長(zhǎng) 1-5 集、大頭兒子小頭爸爸和葫蘆兄弟等六部動(dòng)畫片已經(jīng)完成了 4K 修復(fù)，并可以在西瓜視頻上觀看了。

我們先來(lái)欣賞下 4K 修復(fù)后的影片《小鯉魚(yú)歷險(xiǎn)記》片段：

給老膠片上 4K 分辨率雖難，但意義重大

在闡述 4K 影片修復(fù)的難點(diǎn)之前，我們先簡(jiǎn)單羅列幾個(gè)數(shù)字，老式標(biāo)清電視的分辨率僅為 720x480，也就是說(shuō)一次可顯示的內(nèi)容為 345,600 像素；高清電視的分辨率為 1920x1080，總像素為 2,073,600，是標(biāo)清的 6 倍；具有新一代好萊塢大片分辨率標(biāo)準(zhǔn)的 4K，它的分辨率為 4096×2160，需要 8,847,360 像素。

常見(jiàn)的幾種標(biāo)準(zhǔn)視頻分辨率。圖源：wikipedia

從技術(shù)上來(lái)講，4K 修復(fù)需要將膠片數(shù)字化掃描為分辨率為 4096×3112 的序列幀圖像文件，然后通過(guò) 4K 數(shù)字中間片制作方式對(duì)影像進(jìn)行修復(fù)。比如，2019 年 11 月在內(nèi)地上映的 4K 修復(fù)版《海上鋼琴師》就是將 35 毫米的膠片修復(fù)成 4096×3112 分辨率。說(shuō)起來(lái)容易，但真正修復(fù)起來(lái)困難重重。一般來(lái)說(shuō)，影片修復(fù)分為物理修復(fù)、數(shù)字修復(fù)和藝術(shù)修復(fù)三大步驟。

首先，很多年代久遠(yuǎn)的影片膠片，不可避免地存在霉變、污染、脫色、閃爍、噪聲、色變、丟幀等損傷，還往往會(huì)有灰塵、污垢等表面問(wèn)題。這是修復(fù)面臨的第一道難關(guān)，通過(guò)物理修復(fù)對(duì)老膠片進(jìn)行清理、接補(bǔ)等工作，以待后續(xù)的數(shù)字化修復(fù)。

其次，使用膠片掃描儀對(duì)物理修復(fù)完成的膠片進(jìn)行膠轉(zhuǎn)數(shù)（2K 或 4K）處理。在這一環(huán)節(jié)中，利用專業(yè)軟件自動(dòng)修復(fù)膠片中存在的臟點(diǎn)、霉斑、劃痕、等問(wèn)題，然后進(jìn)行顏色還原，輸出高格式的畫面鏡頭。從步驟上講，2K 修復(fù)與 4K 修復(fù)并沒(méi)有區(qū)別，只是 4K 修復(fù)需要更多的人力和財(cái)力。有數(shù)據(jù)顯示，普通的 2K 修復(fù)（分辨率 2048×1556）完全依賴人工大概需要兩個(gè)星期才能完成一部，花費(fèi)在 30 萬(wàn)元左右。4K 修復(fù)（分辨率 4096×3112）的工作量是 2K 修復(fù)的 4 倍，需要兩三個(gè)月、甚至半年的時(shí)間才能完成一部。

最后，對(duì)修復(fù)影片的藝術(shù)化處理也不容忽視。有從事老影片修復(fù)工作的專業(yè)人士表示，影片修復(fù)最困難的其實(shí)不是技術(shù)修復(fù)，而是藝術(shù)修復(fù)。修復(fù)人員的藝術(shù)修養(yǎng)對(duì)「還原老電影的感覺(jué)」至關(guān)重要，修復(fù)后的影片不僅要表面光鮮，還有味道純正。

雖然面臨著技術(shù)等方面的挑戰(zhàn)，但一些具有重要文化、藝術(shù)價(jià)值以及歷史意義的經(jīng)典老影片的 4K 修復(fù)很有必要。國(guó)內(nèi)很早就興起了老電影修復(fù)熱，2006 年底中國(guó)電影資料館牽頭啟動(dòng)了「電影檔案影片數(shù)字化修護(hù)工程」項(xiàng)目，上海國(guó)際電影節(jié)于 2011 年啟動(dòng)國(guó)產(chǎn)電影修復(fù)計(jì)劃，愛(ài)奇藝等多家視頻網(wǎng)站也發(fā)揮自身優(yōu)勢(shì)投入到老舊影視作品的修復(fù)中等。

此次，西瓜視頻聯(lián)合火山引擎發(fā)起的「經(jīng)典中視頻 4K 修復(fù)計(jì)劃」，將成為老片修復(fù)大軍中的新生力量，為經(jīng)典中視頻的傳承貢獻(xiàn)自己的一份力量。

火山引擎用到的這些 AI 算法，有什么獨(dú)到之處？

作為字節(jié)跳動(dòng)旗下的企業(yè)級(jí)技術(shù)服務(wù)平臺(tái)，火山引擎將字節(jié)跳動(dòng)快速發(fā)展過(guò)程中積累的增長(zhǎng)方法、技術(shù)工具和能力開(kāi)放給外部企業(yè)，提供云、AI、大數(shù)據(jù)技術(shù)等系列產(chǎn)品和服務(wù)，幫助企業(yè)在數(shù)字化升級(jí)中實(shí)現(xiàn)持續(xù)增長(zhǎng)。其中，在火山引擎技術(shù)中臺(tái)的多媒體中臺(tái)中，智能處理是字節(jié)基于多年對(duì)多媒體智能處理的實(shí)踐經(jīng)驗(yàn)，提煉出的全流程視頻前后智能處理及增強(qiáng)技術(shù)，主要能力模塊包含畫質(zhì)增強(qiáng)、視頻 DNA 等。

智能處理技術(shù)的一大子功能即是老片修復(fù)。在 4K 修復(fù)過(guò)程中，火山引擎從清晰度、流暢度、色彩和瑕疵四個(gè)方面解決老片的清晰度低、流暢度低、色彩失真和瑕疵多問(wèn)題，其中多個(gè) AI 算法的使能是關(guān)鍵，包括如下：

智能超分

智能插幀

色彩增強(qiáng)

消除瑕疵（視頻降噪和劃痕修復(fù)）

鋸齒修復(fù)

在這幾個(gè) AI 算法的加持下，火山引擎針對(duì) 4K 極致畫質(zhì)體驗(yàn)場(chǎng)景（如西瓜影院模式），提供了極致畫質(zhì)修復(fù)方案，提升源視頻的分辨率、幀率和色域，進(jìn)行高質(zhì)量智能轉(zhuǎn)碼，達(dá)到極致的播放視頻畫質(zhì)。

火山引擎智能處理的完整流程。

智能超分

作為一項(xiàng)非常重要的視頻處理技術(shù)，超分辨率通過(guò)硬件或軟件的方法提高原有圖像的分辨率，目的是根據(jù)一系列低分辨率的圖像重建一幅高分辨率的圖像?；谏疃葘W(xué)習(xí)的超分辨率算法已經(jīng)是近年來(lái)研究的熱點(diǎn)，主流的方法一般分為單幀超分和多幀超分。

單幀超分即輸入一張圖片，輸出其高分辨率圖片。單幀超分辨率典型結(jié)構(gòu)有預(yù)定義上采樣（predefined upsampling）、單一上采樣（single upsampling）等；多幀超分則考慮視頻前后關(guān)系，重建更多細(xì)節(jié)。但這些超分辨率方法存在一些瓶頸，當(dāng)上采率比較高時(shí)，例如 16 倍，很多算法不能很好地重構(gòu)出對(duì)應(yīng)的高清圖像。

火山引擎的智能超分算法基于深度學(xué)習(xí)方法，根據(jù)已有的圖像、視頻信息重構(gòu)出缺失的細(xì)節(jié)。特別對(duì)于視頻任務(wù)，使用前后幀信息并對(duì)其進(jìn)行時(shí)域建?；謴?fù)出額外的細(xì)節(jié)。在老片修復(fù)任務(wù)中，針對(duì)畫面普遍存在的清晰度差、模糊和分辨率低等問(wèn)題，智能超分可以顯著提升清晰度和分辨率。相較于其他超分辨率算法，智能超分算法具有兩大優(yōu)勢(shì)。

一方面，針對(duì)老片場(chǎng)景的模糊退化專門進(jìn)行建模，從而優(yōu)化清晰度效果。效果是這樣的，720P 的源動(dòng)畫經(jīng)過(guò)超分辨率重建和去模糊后，達(dá)到了 4K 分辨率的超高畫質(zhì)。

另一方面，對(duì)內(nèi)容進(jìn)行自適應(yīng)處理，根據(jù)不同區(qū)域分片處理，保持原有畫風(fēng)。我們以動(dòng)畫片《葫蘆兄弟》為例，該片為水墨和剪紙的組合。在修復(fù)時(shí)，既要保證人物銳利，又要兼顧水墨背景的藝術(shù)效果。這對(duì)技術(shù)能力要求非常高，需要機(jī)器能夠準(zhǔn)確地識(shí)別好前景和背景。

從如下動(dòng)效圖來(lái)看，修復(fù)后（右邊）的水墨畫區(qū)域保持了朦朧感，剪紙區(qū)域提升了清晰度，彰顯了智能超分的強(qiáng)大超分處理能力：

智能插幀

視頻幀數(shù)是影響觀影體驗(yàn)的重要因素之一，通常來(lái)說(shuō)，單位時(shí)間內(nèi)人眼看到的連續(xù)幀越多，人們對(duì)于影片會(huì)產(chǎn)生更真實(shí)更自然的主觀感受。也就是，幀數(shù)越大，視頻就越流暢。插幀技術(shù)可以實(shí)現(xiàn)低幀率視頻向高幀率視頻的轉(zhuǎn)換。

國(guó)內(nèi)外也出現(xiàn)了很多插幀技術(shù)，如基于 SVP（Smooth Video Project）的插幀渲染可以將 24 幀 / 秒的視頻轉(zhuǎn)化為 48 或 60 幀 / 秒、英偉達(dá)的神經(jīng)網(wǎng)絡(luò)腦補(bǔ)**** Super SloMo 將幀率為 30 幀的視頻補(bǔ)到 60 幀、240 幀甚至更高、上海交大開(kāi)源的插幀算法 DAIN 更是可以將 30 幀的視頻插幀到 480 幀。

在老片修復(fù)中，老動(dòng)畫片受限于制作成本，繪畫幀數(shù)較少，一般為 15 幀以下，導(dǎo)致畫面流暢度差，有卡頓感，更需要插幀算法的參與。

因此，火山引擎采用的智能插幀算法通過(guò)分析前后幀的運(yùn)動(dòng)和內(nèi)容，對(duì)中間幀進(jìn)行生成，將原先不足 15 的幀率，提升至 60 以上，大幅提升流暢度。此外，由于動(dòng)畫紋理較少，常規(guī)倍幀方案難以判斷前后幀對(duì)應(yīng)的運(yùn)動(dòng)塊，火山引擎使用塊光流進(jìn)行優(yōu)化，實(shí)現(xiàn)了更精準(zhǔn)的插幀結(jié)果。

動(dòng)畫《哪吒?jìng)髌妗分挟嬅娴那耙粠?、插幀和后一幀示意圖如下：