騰訊多媒體實(shí)驗(yàn)室:以提升用戶體驗(yàn)為目的,構(gòu)建音視頻質(zhì)量評(píng)估體系
近日,首屆Techo開發(fā)者大會(huì)在北京召開,在音視頻及通信分論壇上,騰訊多媒體實(shí)驗(yàn)室專家研究員王海強(qiáng)發(fā)表了題為《視頻業(yè)務(wù)中的主客觀質(zhì)量評(píng)估》的演講,在當(dāng)前音視頻發(fā)展風(fēng)口下,介紹了視頻質(zhì)量評(píng)估的主客觀方法、應(yīng)用場(chǎng)景,并提出了建立在算法基礎(chǔ)上的主客觀視頻質(zhì)量評(píng)測(cè)平臺(tái)及其在業(yè)務(wù)線中的應(yīng)用。
本文引用地址:http://butianyuan.cn/article/201911/407003.htmTecho開發(fā)者大會(huì)是由騰訊云發(fā)起的面向全球開發(fā)者和技術(shù)愛好者的年度盛會(huì),作為一個(gè)專注于前沿技術(shù)研討的非商業(yè)大會(huì),大會(huì)致力于開發(fā)者的能力成長(zhǎng)和實(shí)踐創(chuàng)新,旨在通過匯聚全球頂尖行業(yè)專家和技術(shù)愛好者,搭建一個(gè)開放、中立、活躍的技術(shù)交流平臺(tái)。本屆Techo大會(huì)邀請(qǐng)了海內(nèi)外150位行業(yè)專家圍繞前沿技術(shù)發(fā)展進(jìn)行解讀,聚集了5000名開發(fā)者參與技術(shù)交流和探討。
視聽時(shí)代,音視頻應(yīng)用越來越廣泛:直播、短視頻,視頻節(jié)目、音視頻通話……在萬物訴諸音視頻的互聯(lián)網(wǎng)時(shí)代,用戶對(duì)音視頻質(zhì)量訴求也愈加強(qiáng)烈。為提高音畫質(zhì)量,基礎(chǔ)性工程便是建立行業(yè)評(píng)估體系,用評(píng)測(cè)標(biāo)準(zhǔn)對(duì)音視頻技術(shù)和產(chǎn)品進(jìn)行“打分”。然而,目前音視頻質(zhì)量評(píng)估領(lǐng)域仍存在門檻成本較高、主觀觀感存在偏差等難題。
王海強(qiáng)在演講中介紹了主客觀質(zhì)量評(píng)估方法,普及了兩者在PGC/UGC業(yè)務(wù)中的應(yīng)用,并針對(duì)評(píng)估標(biāo)準(zhǔn)這一終極準(zhǔn)則問題,介紹了多媒體實(shí)驗(yàn)室的自研算法和解決方案。
據(jù)王海強(qiáng)介紹,目前視頻質(zhì)量評(píng)估方法分為兩大類:客觀質(zhì)量評(píng)估與主觀質(zhì)量評(píng)估。前者計(jì)算視頻的質(zhì)量分?jǐn)?shù),又根據(jù)是否使用高清視頻做參考、視頻質(zhì)量是否與失真程度成單調(diào)關(guān)系等進(jìn)一步細(xì)分;后者依賴人眼觀看并打分,能夠直觀反映觀眾對(duì)視頻質(zhì)量的感受。
目前,視頻質(zhì)量評(píng)測(cè)標(biāo)準(zhǔn)并不統(tǒng)一,常規(guī)做法是使用開源模型VMAF來做PGC視頻的質(zhì)量把控,而對(duì)UGC視頻,只能依賴于開發(fā)人員觀看視頻來定位、解決質(zhì)量問題。王海強(qiáng)認(rèn)為,視頻質(zhì)量評(píng)估的目標(biāo)是“致力于評(píng)估視頻的人眼感知質(zhì)量”,即通過通用的、準(zhǔn)確的、公平的測(cè)試能力與測(cè)試方法論,盡可能選擇最可靠的技術(shù)方案,以客觀與主觀評(píng)測(cè)相結(jié)合的方式,達(dá)到最接近人眼感知的質(zhì)量效果。
然而,主觀測(cè)試極其耗費(fèi)人力和時(shí)間,整體效率較低,把所有質(zhì)量問題都訴諸于主觀測(cè)試是不現(xiàn)實(shí)的。與其完全追求主觀測(cè)試的完美性,不如以“主觀質(zhì)量”為目的,通過基于深度學(xué)習(xí)的客觀音視頻質(zhì)量評(píng)估算法,進(jìn)行端到端的音視頻質(zhì)量評(píng)估,從而逼近人眼觀看的體驗(yàn)效果。
對(duì)此,王海強(qiáng)介紹了多媒體實(shí)驗(yàn)室的質(zhì)量評(píng)估解決方案:一是結(jié)合業(yè)務(wù)需求,使用“在線主觀質(zhì)量評(píng)測(cè)平臺(tái)”,來構(gòu)建大規(guī)模主觀質(zhì)量數(shù)據(jù)庫(kù);二是使用所收集的主觀數(shù)據(jù)來訓(xùn)練基于深度學(xué)習(xí)的客觀質(zhì)量評(píng)估算法;三是部署訓(xùn)練好的質(zhì)量評(píng)估算法到業(yè)務(wù)線中,閉環(huán)監(jiān)控可能存在的質(zhì)量問題。從以上三角度出發(fā),音視頻質(zhì)量評(píng)估能夠在兼顧不同業(yè)務(wù)、場(chǎng)景的前提下,滿足效率與精度兩大需求。
騰訊多媒體實(shí)驗(yàn)室:以用戶體驗(yàn)為最終目的
王海強(qiáng)所介紹的“在線主觀質(zhì)量評(píng)測(cè)平臺(tái)”,便是騰訊多媒體實(shí)驗(yàn)室在音視頻評(píng)估領(lǐng)域的落地產(chǎn)品——騰訊多媒體實(shí)驗(yàn)室視頻質(zhì)量評(píng)測(cè)平臺(tái)。目前,這一平臺(tái)不僅能夠完成基于人眼的視頻質(zhì)量評(píng)測(cè),模擬人耳的音頻質(zhì)量評(píng)測(cè),還能夠在音頻的聲學(xué)指標(biāo)、網(wǎng)絡(luò)指標(biāo)及物理環(huán)境下對(duì)信號(hào)的主觀質(zhì)量進(jìn)行全面詳細(xì)的評(píng)估,適應(yīng)了不同環(huán)境下的差異化測(cè)評(píng)場(chǎng)景。
同時(shí),多媒體實(shí)驗(yàn)室開發(fā)了基于深度學(xué)習(xí)的全參考/無參考質(zhì)量評(píng)估算法。依托主觀測(cè)試平臺(tái)快速構(gòu)建大規(guī)模視頻數(shù)據(jù)庫(kù)的能力,多媒體實(shí)驗(yàn)室收集了數(shù)百萬次的視頻質(zhì)量打分,訓(xùn)練了基于深度學(xué)習(xí)的全參考和無參考質(zhì)量評(píng)估算法。兩個(gè)算法在公開數(shù)據(jù)集上均取得了領(lǐng)先業(yè)界的性能。王海強(qiáng)提到多媒體實(shí)驗(yàn)室會(huì)在近期內(nèi)把算法開源,進(jìn)一步促進(jìn)行業(yè)的發(fā)展。
除滿足單個(gè)評(píng)估需求外,視頻質(zhì)量評(píng)估還將在業(yè)務(wù)線中進(jìn)一步發(fā)揮作用。王海強(qiáng)認(rèn)為,在業(yè)務(wù)線中引入視頻質(zhì)量評(píng)估后,將改變以往被動(dòng)發(fā)現(xiàn)質(zhì)量問題、進(jìn)行人工檢查的狀況,變被動(dòng)為主動(dòng),變?nèi)斯橹悄埽肁I進(jìn)行預(yù)防性質(zhì)量監(jiān)控,并通過算法迭代不斷實(shí)現(xiàn)系統(tǒng)優(yōu)化,同時(shí),評(píng)估系統(tǒng)的優(yōu)化又會(huì)進(jìn)一步反哺業(yè)務(wù)線的優(yōu)化。
在當(dāng)前音視迎來發(fā)展風(fēng)口之時(shí),騰訊多媒體實(shí)驗(yàn)室不僅使非專業(yè)團(tuán)隊(duì)能夠快速、準(zhǔn)確的完成評(píng)估需求,還通過一系列嘗試,推動(dòng)了音視頻質(zhì)量評(píng)測(cè)標(biāo)準(zhǔn)的討論。近50項(xiàng)提案被下一代視頻編碼標(biāo)準(zhǔn)VVC/H.266采納。此外,在虛擬現(xiàn)實(shí)(VR)、點(diǎn)云(PCC)、網(wǎng)絡(luò)傳輸協(xié)議 (DASH)、多媒體系統(tǒng)(OMAF、CMAF、NBMP)等相關(guān)多媒體標(biāo)準(zhǔn)中也取得了突破性進(jìn)展,獲得多項(xiàng)標(biāo)準(zhǔn)核心專利,多名團(tuán)隊(duì)成員在多個(gè)全球標(biāo)準(zhǔn)組織擔(dān)任董事、編輯、領(lǐng)域主席等重要席位。與此同時(shí),多媒體實(shí)驗(yàn)室也大力投入國(guó)家自主標(biāo)準(zhǔn)建設(shè),針對(duì)國(guó)家標(biāo)準(zhǔn)AVS3進(jìn)行了相關(guān)布局,成為國(guó)際行業(yè)標(biāo)準(zhǔn)不可忽視的影響者和領(lǐng)導(dǎo)者。
未來,騰訊多媒體實(shí)驗(yàn)室也將投入更多技術(shù)與實(shí)踐,帶頭制定行業(yè)規(guī)則,不斷提升用戶視聽體驗(yàn)。
評(píng)論