公共安全中的“視頻結(jié)構(gòu)化”分析

公共安全當(dāng)前的狀況

1公共安全當(dāng)前的狀況 　　

平安城市的建設(shè)起源于“科技強(qiáng)警”戰(zhàn)略和城市報(bào)警與監(jiān)控系統(tǒng)建設(shè)即“3111”試點(diǎn)工程兩大項(xiàng)目。從2004年以來，經(jīng)過十多年的建設(shè)，平安城市的視頻存儲(chǔ)規(guī)模已經(jīng)突破EB級(jí)，這些巨量的視頻數(shù)據(jù)在社會(huì)公共安全管理和案件偵破等工作中越來越扮演著不可替代的作用。在公共安全信息化建設(shè)深入開展的背景下，現(xiàn)有視頻系統(tǒng)存在著缺乏深度應(yīng)用模式、視頻數(shù)據(jù)智慧化程度不高等突出問題。如何用新技術(shù)改造現(xiàn)有的視頻系統(tǒng)，使之能更好地適應(yīng)物聯(lián)網(wǎng)時(shí)代視頻智慧化、情報(bào)化的應(yīng)用需求已迫在眉睫。當(dāng)下主要的問題在于：缺少視頻信息情報(bào)的標(biāo)準(zhǔn)化生成方法，進(jìn)而缺少利用視頻信息情報(bào)指導(dǎo)偵查、破案的新型警務(wù)工作模式；視頻信息化情報(bào)化警務(wù)應(yīng)用各環(huán)節(jié)缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。 　　

所有這些問題的根本在于對(duì)視頻內(nèi)容的不理解，沒有一個(gè)高效的、標(biāo)準(zhǔn)化的視頻數(shù)據(jù)交換和視頻情報(bào)提取的方法。迎接視頻數(shù)據(jù)深度應(yīng)用的挑戰(zhàn)，其核心及瓶頸是通過研究視頻結(jié)構(gòu)化描述技術(shù)解決通用視頻數(shù)據(jù)向視頻信息化、視頻情報(bào)化方向的轉(zhuǎn)化，實(shí)現(xiàn)社會(huì)公共安全工作模式的創(chuàng)新。 　　

2 視頻結(jié)構(gòu)化說明 　　

視頻結(jié)構(gòu)化描述是一種基于視頻內(nèi)容信息提取的技術(shù)，它對(duì)視頻內(nèi)容按照語義關(guān)系，采用時(shí)空分割、特征提取、對(duì)象識(shí)別等處理手段，組織成可供計(jì)算機(jī)和人類理解的結(jié)構(gòu)化信息的技術(shù)。從數(shù)據(jù)處理的流程看，視頻結(jié)構(gòu)化描述技術(shù)能夠?qū)⒎墙Y(jié)構(gòu)化的視頻數(shù)據(jù)轉(zhuǎn)化為人和機(jī)器可理解的結(jié)構(gòu)化或者半結(jié)構(gòu)化情報(bào)信息，并進(jìn)一步轉(zhuǎn)化為公共安全實(shí)戰(zhàn)所用的情報(bào)數(shù)據(jù)，實(shí)現(xiàn)視頻數(shù)據(jù)向信息化、情報(bào)化的方向轉(zhuǎn)化，達(dá)到視頻感知世界的智慧應(yīng)用。視頻結(jié)構(gòu)化描述既是海量視頻實(shí)現(xiàn)信息化、情報(bào)化轉(zhuǎn)化行之有效的技術(shù)，也是當(dāng)前公共安全領(lǐng)域中對(duì)視頻結(jié)構(gòu)化處理的一個(gè)指向性方案。在視頻結(jié)構(gòu)化描述的內(nèi)容方面，公共安全關(guān)注的視頻信息主要是：人員、車輛、行為。在視頻中把人作為一個(gè)可描述的個(gè)體展現(xiàn)出來，其中包括人員的面部精確定位、面部特征提取、面部特征比對(duì)，人員的性別、年齡范圍、大致身高、發(fā)飾、衣著、物品攜帶、步履形態(tài)等多種可結(jié)構(gòu)化描述信息；對(duì)于車輛的描述信息包括：車牌、車顏色、車型、品牌、子品牌、車貼、車飾物信息等多種車輛描述信息；對(duì)于行為的描述信息包括：越界、區(qū)域、徘徊、遺留、聚集等多種行為描述信息。經(jīng)過視頻結(jié)構(gòu)化處理后，可以達(dá)到如下目的：首先是視頻查找速度得到極大的提升。視頻結(jié)構(gòu)化之后，從百萬級(jí)的目標(biāo)庫中（對(duì)應(yīng)數(shù)百到一千小時(shí)的高清視頻）查找某張截圖上的行人嫌疑目標(biāo)，數(shù)秒即可完成；千萬級(jí)目標(biāo)的庫中查找，幾分鐘即可完成（如果實(shí)現(xiàn)云化，速度會(huì)更快）。在結(jié)構(gòu)化基礎(chǔ)上進(jìn)行檢索查詢，可以解決快速目標(biāo)查找問題。其次是存儲(chǔ)容量極大的降低，經(jīng)過結(jié)構(gòu)化后的視頻，存儲(chǔ)人的結(jié)構(gòu)化檢索信息和目標(biāo)數(shù)據(jù)不到視頻數(shù)據(jù)量的2%；對(duì)于車輛，不到1%；對(duì)于行為降得更多。存儲(chǔ)容量極大地降低，可以解決視頻長(zhǎng)期存儲(chǔ)的問題。最后， 視頻結(jié)構(gòu)化可以盤活視頻數(shù)據(jù)，可作為數(shù)據(jù)挖掘基礎(chǔ)，視頻經(jīng)過結(jié)構(gòu)化處理后，存入相應(yīng)的結(jié)構(gòu)化數(shù)據(jù)倉(cāng)庫，對(duì)各類的數(shù)據(jù)倉(cāng)庫可以進(jìn)行深度的數(shù)據(jù)挖掘，充分發(fā)揮大數(shù)據(jù)作用，提升視頻數(shù)據(jù)的應(yīng)用價(jià)值，提高視頻數(shù)據(jù)的分析和預(yù)測(cè)功能。 　　

3 視頻結(jié)構(gòu)化的應(yīng)用領(lǐng)域 　　

"公共安全"顧名思意,就是事關(guān)人民普通大眾的安全.它指得不是某人的安全,也不是某一個(gè)特殊群體(譬如某搶劫團(tuán)伙)的安全,而是指身邊的普通大眾的安全. 公共安全“以人為本”，旨在保障國(guó)民安全和社會(huì)穩(wěn)定。隨著人類物質(zhì)文明的高度發(fā)展，國(guó)家、社會(huì)和個(gè)人對(duì)安全的依賴和企盼達(dá)到了前所未有的高度，公共安全所涉及的領(lǐng)域眾多： 公共安全包含信息安全，食品安全，公共衛(wèi)生安全，公眾出行規(guī)律安全、避難者行為安全，人員疏散的場(chǎng)地安全、建筑安全、城市生命線安全，惡意和非惡意的人身安全和人員疏散等； 公共安全事件包含自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件、社會(huì)安全事件。 視頻數(shù)據(jù)作為物聯(lián)網(wǎng)視覺感知的重要來源，在公共安全領(lǐng)域發(fā)揮著越來越重要的作用。而視頻結(jié)構(gòu)化描述是針對(duì)非結(jié)構(gòu)化視頻數(shù)據(jù)的深入應(yīng)用，使得視頻數(shù)據(jù)成為可感知，可描述的智能型數(shù)據(jù)。因此其應(yīng)用領(lǐng)域極為廣泛，就公共安全來說，視頻結(jié)構(gòu)化描述幾乎滲透到公共安全的方方面面。

視頻結(jié)構(gòu)化需要突破瓶頸 　　

4 視頻智能分析 　　

視頻結(jié)構(gòu)化描述是針對(duì)視頻內(nèi)容的智能結(jié)構(gòu)化分析，將非結(jié)構(gòu)化的視頻數(shù)據(jù)進(jìn)過智能分析形成可供描述的結(jié)構(gòu)化數(shù)據(jù)，因此視頻智能化分析是視頻結(jié)構(gòu)化的核心技術(shù)。智能視頻分析技術(shù)質(zhì)量的優(yōu)劣對(duì)視頻結(jié)構(gòu)化描述影響巨大，為了能更好地進(jìn)行視頻結(jié)構(gòu)化分析，智能視頻分析必須向如下三個(gè)方向進(jìn)行創(chuàng)新：一、視頻前期處理技術(shù)，主要包括圖像防抖動(dòng)和圖像增強(qiáng)。視頻抖動(dòng)主要成因是道路監(jiān)控中高架安裝方式帶來的較高頻率的小幅抖動(dòng)，視頻防抖動(dòng)能有效抑制智能分析中的誤報(bào)和漏報(bào)，提高智能分析的準(zhǔn)確率；圖像增強(qiáng)是對(duì)視頻源進(jìn)行視覺改善處理，有效改善畫質(zhì)，提高圖像的清晰度，使原本低質(zhì)量的圖像達(dá)到清晰可辨程度。二、提升分析準(zhǔn)確率技術(shù)。如人臉識(shí)別技術(shù)從最初的特征臉方法過渡到神經(jīng)元網(wǎng)絡(luò)方法，由可見光人臉識(shí)別到多源光人臉識(shí)別。同理，車輛和行為的智能分析也出現(xiàn)了更高效的分析技術(shù)。三、視頻后期處理技術(shù)，主要包括圖像復(fù)原和圖像摘要檢索等。圖像復(fù)原就是綜合利用超分辨率、去模糊濾波、變形矯正、色彩調(diào)整等對(duì)模糊視頻進(jìn)行處理，使之清晰可辨。 　　

5 視頻結(jié)構(gòu)化需要突破瓶頸 　　

海量的視頻圖像數(shù)據(jù)是公共安全部門信息化建設(shè)中積累的重要數(shù)據(jù)，通過對(duì)視頻內(nèi)容的分析和處理，快速準(zhǔn)確的發(fā)現(xiàn)有效線索，能夠充分發(fā)揮視頻資源的作用。然而，在公安信息化建設(shè)深入開展的背景下，現(xiàn)有視頻資源缺乏深度應(yīng)用的模式。其應(yīng)用的瓶頸是視頻信息如何高效提取，如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語義互操作。解決這一問題的核心技術(shù)即是視頻結(jié)構(gòu)化描述的技術(shù)。但是作為一項(xiàng)視頻處理的核心技術(shù)，其實(shí)現(xiàn)上仍有部分瓶頸需要突破，首先是視頻結(jié)構(gòu)化核心算法技術(shù)的突破。如上文所述，視頻結(jié)構(gòu)化描述技術(shù)與視頻智能分析技術(shù)息息相關(guān)，但是當(dāng)下視頻智能分析技術(shù)受到各種應(yīng)用環(huán)境的制約，以人臉識(shí)別為例，當(dāng)下的人臉識(shí)別多半是配合式、重復(fù)式應(yīng)用場(chǎng)景，在這種應(yīng)用場(chǎng)景下，人臉的識(shí)別率基本能達(dá)到實(shí)用要求，而在無配合、多人臉、動(dòng)態(tài)視頻的場(chǎng)景下就很難達(dá)到實(shí)用目標(biāo)。為了解決這類問題，人臉識(shí)別的算法也從最初的模式識(shí)別進(jìn)化到深度的神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)模式，使得人臉檢測(cè)和識(shí)別的準(zhǔn)確度大大地提高，但是由此帶來的負(fù)面效應(yīng)也相當(dāng)明顯，首當(dāng)其沖的就是運(yùn)算復(fù)雜度的提升，需要耗費(fèi)大量的計(jì)算資源，針對(duì)這一瓶頸很多業(yè)內(nèi)公司推出了各種解決方案，如計(jì)算前端推移，后端借助GPU實(shí)現(xiàn)集群化計(jì)算等，所有的這些方向都為后續(xù)的視頻結(jié)構(gòu)化描述的實(shí)際應(yīng)用做前瞻，實(shí)現(xiàn)高效精準(zhǔn)的視頻結(jié)構(gòu)化描述技術(shù)成為今后一段時(shí)間各個(gè)算法研究機(jī)構(gòu)的努力方向。其次是視頻結(jié)構(gòu)化描述數(shù)據(jù)存儲(chǔ)，檢索和應(yīng)用技術(shù)，隨著數(shù)據(jù)容量的快速增長(zhǎng)，結(jié)構(gòu)化視頻描述也越來越具備“大數(shù)據(jù)”的4V特征。如何實(shí)現(xiàn)視頻結(jié)構(gòu)化數(shù)據(jù)的大容量、高效存儲(chǔ)、高效檢索以及快速實(shí)現(xiàn)數(shù)據(jù)應(yīng)用，為最終用戶提供高效靈活的服務(wù)，都將成為今后各大視頻綜合應(yīng)用廠家面臨的問題。再次是頂層設(shè)計(jì)，構(gòu)建標(biāo)準(zhǔn)體系。通過對(duì)視頻結(jié)構(gòu)化技術(shù)自身特點(diǎn)和應(yīng)用模式的研究，建立有關(guān)視頻結(jié)構(gòu)化描述的標(biāo)準(zhǔn)體系模型，制定覆蓋技術(shù)實(shí)現(xiàn)和應(yīng)用系統(tǒng)的標(biāo)準(zhǔn)化體系，有步驟地制定相關(guān)標(biāo)準(zhǔn)，以規(guī)范技術(shù)研究和設(shè)備開發(fā)，指導(dǎo)系統(tǒng)建設(shè)、運(yùn)行以及評(píng)估的各個(gè)方面，從源頭上為視頻信息情報(bào)化應(yīng)用的全面展開打好基礎(chǔ)。在這方面由全國(guó)安全防范報(bào)警系統(tǒng)標(biāo)準(zhǔn)化技術(shù)委員會(huì)（SAC/TC100）歸口并組織起草的國(guó)家標(biāo)準(zhǔn)GB/T30147-2013《安防監(jiān)控視頻實(shí)時(shí)智能分析設(shè)備技術(shù)要求》和GB/T30148-2013《安全防范報(bào)警設(shè)備電磁兼容抗擾度要求和試驗(yàn)方法》，經(jīng)過國(guó)家標(biāo)準(zhǔn)管理委員會(huì)發(fā)布，已于2014年8月1日起實(shí)施。這些標(biāo)準(zhǔn)的制定，為視頻結(jié)構(gòu)化描述建立共同遵守的規(guī)則和行為規(guī)范，使視頻結(jié)構(gòu)化大規(guī)模應(yīng)用成為可能。最后是視頻結(jié)構(gòu)化數(shù)據(jù)應(yīng)用大平臺(tái)建設(shè)，隨著視頻結(jié)構(gòu)化技術(shù)的日趨成熟，如何采集和管理這些巨量的視頻結(jié)構(gòu)化描述數(shù)據(jù)，如何面向公共安全部門提供快速、高效、專業(yè)、個(gè)性化的服務(wù)也是擺在服務(wù)商與業(yè)主面前的難題。例如許多廠家采用“云”和“大數(shù)據(jù)”框架模型做視頻結(jié)構(gòu)化描述技術(shù)的平臺(tái)架構(gòu)來滿足大數(shù)據(jù)量的數(shù)據(jù)存儲(chǔ)、生命周期管理以及數(shù)據(jù)的快速響應(yīng)。 　　

6 視頻結(jié)構(gòu)化描述技術(shù)發(fā)展前景 　　

視頻結(jié)構(gòu)化描述技術(shù)緊緊貼合視頻內(nèi)容的分析、提取，將非結(jié)構(gòu)化視頻數(shù)據(jù)處理成可供快速檢索定位的信息化數(shù)據(jù)。隨著視頻結(jié)構(gòu)化描述技術(shù)的發(fā)展和成熟，必然為視頻數(shù)據(jù)的信息化、情報(bào)化、智能化提供強(qiáng)有力的支撐，變視頻的被動(dòng)防御為主動(dòng)識(shí)別，使相應(yīng)的系統(tǒng)成為智能，主動(dòng)式防控系統(tǒng)成為可能，從而打通系統(tǒng)間視頻情報(bào)傳遞、打通從前端采集到后端情報(bào)化應(yīng)用。隨著近年視頻系統(tǒng)的建設(shè)，社會(huì)上已經(jīng)存在巨量的視頻數(shù)據(jù)并且仍然在實(shí)時(shí)地產(chǎn)生大量的視頻數(shù)據(jù)，所有的這些都為視頻結(jié)構(gòu)化描述技術(shù)提供了廣闊的市場(chǎng)前景。