支持監(jiān)控視頻高效壓縮與識別的IEEE 1857標準

　　摘要：我國技術專家為主研究制定的數(shù)字視頻編解碼技術標準AVS于2013年6月4日被國際電子電氣工程師協(xié)會(IEEE)標準化委員會頒布為IEEE 1857標準。該標準獨具特色的一個部分是針對視頻監(jiān)控的監(jiān)控檔次AVS-S2，編碼壓縮性能達到目前視頻監(jiān)控業(yè)界主流使用的H.264(又稱MPEG-4 AVC)標準的兩倍，而且在碼流層支持感興趣區(qū)域的自動提取與表達。本文介紹了AVS-S2的制定過程、關鍵技術及其與其它標準的壓縮效率對比情況。

　　引言

　　視頻監(jiān)控是繼數(shù)字電視、視頻會議之后的又一個重大視頻應用，而且日益成為“體量”最大的一個視頻系統(tǒng)：千千萬萬個攝像頭通過寬帶網(wǎng)絡聯(lián)系在一起，形成了一張覆蓋全球的“視聽感知網(wǎng)”，從此人類社會的運行狀態(tài)都被海量的攝像頭采集下來。對大量攝像頭采集的海量監(jiān)控視頻有效傳輸、存儲、分析和識別是信息技術面臨的重大挑戰(zhàn)。

　　根據(jù)EMC委托IDC做的研究報告^[1]，2012年全球各種數(shù)據(jù)的總量為2.84ZB。到2020年，這個數(shù)字將上升到40ZB，IDC稱之為“數(shù)字宇宙(Digital Universe)”?！皵?shù)字宇宙”中有分析利用價值的部分才是目前熱議的“大數(shù)據(jù)(Big Data)”，IDC估計2012年的數(shù)據(jù)中“大數(shù)據(jù)”占23%，2020年這個比例將增長到33%。據(jù)IDC測算，2010年“大數(shù)據(jù)”的一半是監(jiān)控視頻。2015年，監(jiān)控視頻所占比例會增長到65%。2020年仍將處于絕對領先地位，占44%(其次是25%的交易數(shù)據(jù)、20%的醫(yī)療數(shù)據(jù)、10%的娛樂和社交媒體)。

　　按照IDC的上述測算，2020年將有5.8ZB的監(jiān)控視頻需要進行存儲、傳輸和分析。其中，中國所占比例將達到21%。也就是說，2020年在我國將有1.2ZB(12億TB)的監(jiān)控視頻需要處理。這是一個什么樣的規(guī)模呢?據(jù)測算，人類歷史上說過的所有的話都數(shù)字化也就是5EB，1.2ZB是其240倍!

　　面對如此海量的監(jiān)控視頻，需要對視頻編碼和分析技術進行基礎性研究并實現(xiàn)重大突破。以北京為例，2008年奧運會前全市監(jiān)控攝像頭數(shù)量就超過了五十萬個，每小時產(chǎn)生的視頻時長就相當于中央電視臺建臺以來的所有庫存視頻。如果要在全市范圍內調度、使用這些視頻，即使全部采用當前的國家標準AVS或國際標準AVC/H.264，也需要500000(攝像頭)×10M(比特/秒/攝像頭)=5000Gbps的網(wǎng)絡帶寬，這是目前的網(wǎng)絡傳輸條件不可能支持的。這些監(jiān)控視頻往往要存儲數(shù)周乃至數(shù)月，盡管是分散在各個單位和部門，但整個北京為存儲監(jiān)控視頻付出的存儲成本十分龐大。仍然按當前的視頻標準壓縮效率計算，每個小時產(chǎn)生的視頻總量仍達到500000(攝像頭)×3600(秒/小時)×10M(比特/秒/攝像頭)=18000(Tb/小時)=2.25(PB/小時)。按照IDC對2012年存儲價格保守估計^[1]，北京市每小時存儲監(jiān)控視頻的成本需要2800萬元，一個月的成本就是200億。為了降低存儲代價，往往只能以損失視頻質量為代價，但這是和監(jiān)控視頻需要滿足識別需要這個根本目的相抵觸的。因此，從傳輸和存儲成本考慮，都需要研究更高壓縮效率的視頻編碼技術和標準。

　　2002年以前，我國的視頻壓縮一直直接采用國際視頻編碼標準。2002年后，為了支持國內音視頻產(chǎn)業(yè)的健康發(fā)展，規(guī)避國際標準背后高額專利費當時已經(jīng)不斷出現(xiàn)的糾紛，工業(yè)和信息化部(原信息產(chǎn)業(yè)部)組織成立了數(shù)字音視頻編解碼技術標準工作組(簡稱AVS工作組)。此后，AVS工作組開始起草自主知識產(chǎn)權的國家標準《信息技術先進音視頻編碼》，并于2006年頒布為國家標準GB/T 20090.2-2006^[4]。AVS的編碼效率與同期國際標準MPEG-4 AVC/H.264相當^[5~6]，在圖像質量基本不損失的前提下對高清視頻的壓縮效率能達到150：1(以下談到壓縮效率時同此條件)。當然，有些視頻監(jiān)控應用中用戶將壓縮效率參數(shù)設為600：1甚至更高，但圖像質量損失嚴重，對后續(xù)的使用會帶來負面影響，例如圖像中對象識別率下降等。

　　從2007年開始，AVS工作組開始面向行業(yè)應用對GB/T 20090.2進行了定向擴展，開始制定面向視頻監(jiān)控應用的伸展檔次(簡稱AVS-S)，2009年起草完成。這個標準新增了面向視頻監(jiān)控的一些技術特性，但在編碼效率這個核心指標方面并無明顯提高，總體上處在與H.264相當?shù)乃健ＵJ識到只有大幅度超越國際標準H.264，才能大幅度降低監(jiān)控系統(tǒng)成本，AVS工作組從2010年3月開始啟動了第二代視頻監(jiān)控標準(AVS-S2)的制定工作。2013年6月，包括AVS-S2在內的AVS視頻編碼標準由IEEE頒布為編號1857的標準。

　　AVS-S2的編碼效率有了大幅度提升，主要是因為采用了背景建模技術，對監(jiān)控視頻的編碼效率比H.264/AVC、以及2006年發(fā)布的AVS標準性能提高了一倍，編碼效率達到300：1左右，達到當前最新國際標準H.265/HEVC同等的水平^[7]。

　　AVS–S2新增背景建模技術和感興趣區(qū)域提取等兩項技術，是國外任何其他編碼標準所沒有使用的。其中，背景建模技術同樣可以用于增強其他國際標準的編碼壓縮性能，例如H.265/HEVC。實驗表明，在H.265/HEVC參考軟件中加入AVS-S2背景建模技術后，針對監(jiān)控視頻可以將其壓縮效率再提高一倍，達到600：1左右。目前，AVS工作組正在將這套方法應用到正在制定AVS2標準中(稱為AVS2-S)，預計在監(jiān)控視頻編碼方面將比H.265/HEVC高一倍，這將是國際范圍內監(jiān)控視頻編碼壓縮效率的最高水平。

　　監(jiān)控視頻編碼標準發(fā)展歷程

　　視頻編碼研究的目標是通過各種技術手段大幅度降低視頻碼率，否則即使是單路數(shù)字視頻都難以正常傳輸。以高清晰度視頻為例，每秒鐘的數(shù)據(jù)量為 1920×1080×24比特×30幀每秒 = 1492992000比特每秒，約1.5Gbps，即使以今天的帶寬條件，傳輸這樣的一路視頻都耗資巨大，當時的通信條件便更加難以企及。因此，從1952年貝爾實驗室Cutler等人進行DPCM (Differential Pulse Code Modulation)技術研究以來，視頻編碼技術一直得到高度重視和持續(xù)研究?！　?/p>

?

　　上世紀80年代，為了數(shù)字電視和視頻通信的需要，國際標準組織開始綜合已有技術成果來制定視頻編碼標準，形成了以塊為單元的預測加變換的混合編碼框架(block-based hybrid coding framework)，并相繼出臺了ITU-T H.261/H.262/H.263/H.264視頻編碼建議和ISO/IEC MPEG-1/MPEG-2/MPEG-4視頻編碼標準。其中，國際標準化組織(ISO)和國際電工技術委員會(IEC)在1994年出臺的MPEG-2標準在數(shù)字電視領域得到了廣泛采用，壓縮效率可以達到75：1，可以把原來一路1.5Gbps的高清視頻流編碼壓縮到20Mbps左右。國際電信聯(lián)盟1995年出臺的H.263標準也是同一時代的技術，在視頻會議領域得到廣泛應用。第一代數(shù)字視頻監(jiān)控系統(tǒng)主要采用MPEG-2或H.263標準，某些系統(tǒng)出于實現(xiàn)成本考慮還對標準進行了一定的簡化。

　　2003年第二代視頻編碼技術國際標準發(fā)布。國際標準為ITU-T H.264和ISO/IEC MPEG-4 AVC，系同一套技術標準文本由兩個渠道出版^[2~3]。因為前面提到的原因，我國在國際標準約一年之后制定出了自主知識產(chǎn)權的國家標準，并經(jīng)過芯片實現(xiàn)等產(chǎn)業(yè)化驗證后，于2006年2月頒布為《信息技術先進音視頻編碼第二部分視頻》國家標準(國標號GB/T 20090.2-2006，通常簡稱為AVS視頻編碼標準)^[4]。4個月后，微軟主導的VC-1視頻編碼標準由美國電影電視工程師協(xié)會SMPTE頒布為行業(yè)標準。這三個標準通常被稱為第二代視頻編碼標準的三個代表，其編碼效率均比第一代提高了一倍，編碼壓縮效率達到150：1左右，即可以把一路高清視頻壓縮到10Mbps左右。第二代標準在數(shù)字電視和視頻通信領域得到應用后，也很快被視頻監(jiān)控系統(tǒng)所采用。目前基于IP的網(wǎng)絡視頻監(jiān)控系統(tǒng)，主要采用H.264標準。但廠商為了降低成本，往往會把標準中較為復雜的編碼工具剪裁掉，而不同廠商剪裁的方式又各不相同，因此雖然都號稱基于H.264標準，但不同廠商的產(chǎn)品間之間是難以互聯(lián)互通，需要使用軟件或者硬件轉碼器進行轉換。