智能視頻分析在海量視頻檢索中的作用

隨著視頻監(jiān)控系統(tǒng)在公安、交通等敏感領(lǐng)域的大規(guī)模應(yīng)用，電子眼幫助破案的報(bào)道時(shí)有所耳聞。一方面，這些事例從正面體現(xiàn)了視頻監(jiān)控系統(tǒng)的社會(huì)價(jià)值;另一方面，也引發(fā)了更多的關(guān)于視頻檢索的深層次需求。在實(shí)際應(yīng)用的過(guò)程中，用戶(hù)常常希望可以快速的從海量的數(shù)以萬(wàn)計(jì)的攝像頭視頻錄像中，方便的找到一些有明顯特征的人或物。傳統(tǒng)的基于預(yù)設(shè)告警和時(shí)間的視頻檢索方式，對(duì)于這類(lèi)深層次的需求往往無(wú)能為力，常有“隔靴搔癢”之憾，因而如何快速準(zhǔn)確的進(jìn)行智能的檢索就成為大型視頻監(jiān)控系統(tǒng)需要解決的重要課題。

傳統(tǒng)海量存儲(chǔ)技術(shù)的應(yīng)用瓶頸

就平安城市這樣的大型視頻監(jiān)控系統(tǒng)而言，每時(shí)每刻系統(tǒng)中都有海量的視頻在進(jìn)行存儲(chǔ)。這些視頻對(duì)于打擊犯罪，保衛(wèi)人民生命財(cái)產(chǎn)安全是至關(guān)重要的。目前基于分布式的系統(tǒng)構(gòu)架設(shè)計(jì)的大型視頻監(jiān)控平臺(tái)，采用分治的方法，綜合使用前端存儲(chǔ)(NVR/DVR)，后端存儲(chǔ)(存儲(chǔ)服務(wù)器、磁陣等)等多種策略結(jié)合。從技術(shù)上看，已經(jīng)可以比較穩(wěn)妥的解決海量視頻的存儲(chǔ)問(wèn)題。但是，主流的基于時(shí)間點(diǎn)和預(yù)設(shè)事件的檢索方式相對(duì)于當(dāng)前復(fù)雜的治安形勢(shì)就過(guò)于簡(jiǎn)單了。下面以一個(gè)現(xiàn)實(shí)中的檢索需求為例，對(duì)傳統(tǒng)的檢索方式進(jìn)行分析。

檢索需求：檢索在10：00 到 12:00，出現(xiàn)在某銀行正門(mén)附近的，穿白色襯衫的男子。

為實(shí)現(xiàn)找到符合條件的視頻，在傳統(tǒng)視頻存儲(chǔ)系統(tǒng)中，將需要很多人力進(jìn)行人工分析。傳統(tǒng)監(jiān)控系統(tǒng)可以通過(guò)GIS比較準(zhǔn)確的找到XX銀行正門(mén)附近的攝像機(jī)，通過(guò)時(shí)間檢索找到相關(guān)的視頻，之后就需要靠人力進(jìn)行人為調(diào)看，即使在16倍速的高速瀏覽下，進(jìn)一步找到相關(guān)視頻也是一件十分浪費(fèi)人力和時(shí)間的事情，而且由于人的參與，長(zhǎng)時(shí)間觀看導(dǎo)致漏檢的風(fēng)險(xiǎn)很大。

我們可以看到，在實(shí)現(xiàn)這一檢索需求時(shí)，傳統(tǒng)的檢索方式顯得比較笨拙。檢索檢索方式不夠“聰明”，這已經(jīng)成為傳統(tǒng)大型監(jiān)控系統(tǒng)應(yīng)用中的一個(gè)瓶頸。

考慮到具體案件的復(fù)雜性，今天關(guān)于“白襯衣”的要求，明天可能變?yōu)椤盎ㄒr衫”，所以用戶(hù)不僅要求檢索更加“聰明”，而且也要足夠“靈活”。當(dāng)然，用戶(hù)還希望系統(tǒng)能夠盡快完成查詢(xún)。那么，我們可以將用戶(hù)對(duì)海量視頻存儲(chǔ)系統(tǒng)的檢索要求歸納為“更聰明”、“更靈活”、“更快捷”。

使用智能分析技術(shù)提升檢索算法有效性

引入智能視頻分析技術(shù)實(shí)現(xiàn)“聰明”和“靈活”

既然，用戶(hù)迫切需要檢索更加“聰明”，那么使用智能分析技術(shù)提高系統(tǒng)的“智商”就勢(shì)在必行了。

目前應(yīng)用于視頻監(jiān)控的的智能視頻分析技術(shù)可以歸納為：目標(biāo)提取技術(shù)、目標(biāo)分類(lèi)(識(shí)別)技術(shù)以及規(guī)則判斷技術(shù)等3個(gè)彼此依存的技術(shù)譜系。這3類(lèi)技術(shù)構(gòu)成了智能視頻分析系統(tǒng)的3大基本模塊：目標(biāo)提取模塊、分類(lèi)識(shí)別模塊、規(guī)則判斷模塊，如圖1所示。

圖1：智能分析系統(tǒng)結(jié)構(gòu)簡(jiǎn)圖

首先，數(shù)字視頻流經(jīng)過(guò)視頻解碼，解碼為智能視頻分析系統(tǒng)可以識(shí)別的視頻或圖像序列，作為智能視頻分析系統(tǒng)的輸入。分析系統(tǒng)首先使用目標(biāo)提取輸入圖像序列進(jìn)行前背景分離，完成目標(biāo)提取工作;比較復(fù)雜的智能視頻分析系統(tǒng)一般帶有分類(lèi)功能，可以對(duì)識(shí)別出來(lái)的目標(biāo)進(jìn)行模式識(shí)別，分辨出目標(biāo)的更多屬性，如比較常見(jiàn)的分類(lèi)器包括：人車(chē)分類(lèi)，顏色分類(lèi)、行為分類(lèi)等;此后系統(tǒng)將被提取的目標(biāo)和與之分類(lèi)信息，交給規(guī)則判斷模塊，進(jìn)行規(guī)則推理，如果違反了某些設(shè)定的規(guī)則，系統(tǒng)將輸出告警。

將上文提到的檢索需求套入到上述流程中，可以發(fā)現(xiàn)現(xiàn)有的智能視頻分析技術(shù)在“理論”上能夠幫助完成這個(gè)需求。“白色襯衣、男子”這些是對(duì)分類(lèi)識(shí)別模塊的識(shí)別要求，同時(shí)也是判斷推理模塊中的規(guī)則。也就是說(shuō)所謂的更“聰明”對(duì)應(yīng)于智能視頻分析技術(shù)就是要求分類(lèi)識(shí)別模塊更強(qiáng)大;檢索的需求一定是會(huì)不斷變化的，比如“白襯衣”變成“花裙子”，“男子”變?yōu)椤芭印保办`活”的要求需要規(guī)則判斷模塊來(lái)完成。

于是，我們可以得到一個(gè)新的系統(tǒng)模型(模型1)，如圖2所示。這個(gè)系統(tǒng)模型在傳統(tǒng)海量存儲(chǔ)系統(tǒng)上增加了智能視頻分析功能，從而完成了使系統(tǒng)變得“聰明”了。

圖2：引入智能分析服務(wù)器的海量存儲(chǔ)系統(tǒng)(模型1)

當(dāng)用戶(hù)發(fā)起查詢(xún)時(shí)，首先通過(guò)規(guī)則生成器，將查詢(xún)要求翻譯成規(guī)則，輸入規(guī)則推理模塊，之后系統(tǒng)對(duì)相關(guān)視頻進(jìn)行智能分析，也就是進(jìn)行目標(biāo)提取和目標(biāo)分類(lèi)識(shí)別，同時(shí)規(guī)則推理判斷，找出符合要求的視頻，如圖3所示。

圖3：基于模型1的查詢(xún)時(shí)序圖

這個(gè)模型借助智能視頻分析技術(shù)，可以提升查詢(xún)系統(tǒng)的“智商”，實(shí)現(xiàn)用戶(hù)關(guān)于“聰明”和“靈活”的訴求，但是這個(gè)系統(tǒng)的效率如何呢?還有一個(gè)問(wèn)題需要考慮，就現(xiàn)在的智能視頻分析技術(shù)而言是否能夠有足夠精確的目標(biāo)提取、模型匹配的精準(zhǔn)算法從而來(lái)判斷“男女”，區(qū)分“白色襯衫”和“白色風(fēng)衣”的不同。這些問(wèn)題在現(xiàn)有的分析技術(shù)和算法模型中都是很難解決的，綜上，這個(gè)模型存在的問(wèn)題表現(xiàn)在：

一是效率較低，查詢(xún)速度取決于分析速度。

二是對(duì)于實(shí)際應(yīng)用中的現(xiàn)實(shí)要求，智能技術(shù)又無(wú)法達(dá)到的情況沒(méi)有進(jìn)行處理。

使用視頻分析技術(shù)構(gòu)建“線索”數(shù)據(jù)庫(kù)

模型1之所以效率較低，主要是因?yàn)樾枰獙⒖赡艽嬖诘哪繕?biāo)進(jìn)行智能分析，智能分析算法需要時(shí)間來(lái)完成。這一過(guò)程限制了這一模型的效率。

實(shí)際上，對(duì)于這一問(wèn)題我們可以通過(guò)增加實(shí)時(shí)視頻智能分析服務(wù)器的辦法，對(duì)實(shí)時(shí)視頻在存儲(chǔ)的同時(shí)進(jìn)行智能分析，同時(shí)將目標(biāo)提取模塊、分類(lèi)識(shí)別模塊輸出的結(jié)果保存到數(shù)據(jù)庫(kù)中，以提升檢索的效率。這個(gè)思路與google所采用的視頻檢索技術(shù)比較類(lèi)似，只是提取目標(biāo)和分類(lèi)分析的視頻源不同，進(jìn)行預(yù)處理的時(shí)機(jī)不同。至此，得到了一個(gè)新的模型——模型2，如圖4所示。

圖4：帶有線索數(shù)據(jù)庫(kù)的海量存儲(chǔ)模型2

模型2在模型1的基礎(chǔ)上，將智能分析的運(yùn)算分?jǐn)偟揭曨l傳輸和存儲(chǔ)的過(guò)程中，并引入了數(shù)據(jù)庫(kù)將視頻分析的結(jié)果和源視頻的存儲(chǔ)位置關(guān)聯(lián)關(guān)系一并保存到數(shù)據(jù)庫(kù)中，提升了整個(gè)檢索的反應(yīng)速度，如圖5所示。

圖5：基于模型2的視頻存儲(chǔ)過(guò)程

當(dāng)然這個(gè)基于智能視頻的預(yù)處理過(guò)程也可以由終端設(shè)備完成，至于終端設(shè)備如何目標(biāo)提取模塊、分類(lèi)識(shí)別模塊分析的結(jié)果發(fā)送給視頻監(jiān)控平臺(tái)，可以參考OnVif協(xié)議中的相關(guān)部分。

查詢(xún)時(shí)，首先模型2針對(duì)查詢(xún)條件，進(jìn)行轉(zhuǎn)換，將查詢(xún)條件轉(zhuǎn)換為系統(tǒng)可支持的規(guī)則，根據(jù)規(guī)則生成對(duì)數(shù)據(jù)庫(kù)的查詢(xún)語(yǔ)句進(jìn)行查詢(xún)，之后根據(jù)查詢(xún)結(jié)果，找到相關(guān)的視頻，如圖6所示。

圖6：基于模型2的視頻檢索過(guò)程

關(guān)于“誤中”與“漏檢”

鑒于當(dāng)前智能視頻分析技術(shù)的現(xiàn)狀，在上述檢索需求：“檢索在10：00 到 12:00，出現(xiàn)在某銀行正門(mén)附近的，穿白色襯衫的男子”中，至少襯衣和男子是比較難以分辨的，考慮到光照等因素，白色的分辨也存在一定困難。也就是說(shuō)，即使使用了智能分析技術(shù)，由于其分類(lèi)識(shí)別模塊的限制，對(duì)于一些查詢(xún)需求，也是存在誤中和漏檢可能性的。對(duì)于實(shí)際應(yīng)用而言，漏檢的危害要大于誤中，基于此，有必要引入一些基于概率論的方法，如貝葉斯方法，來(lái)緩解“漏檢”的壓力。

結(jié)束語(yǔ)

綜上所述，智能視頻分析技術(shù)的引入可以極大的提升原有海量監(jiān)控視頻存儲(chǔ)系統(tǒng)的檢索效率和命中率。但是，限于目前智能視頻分析技術(shù)的現(xiàn)狀，這一方案中還存在一些技術(shù)風(fēng)險(xiǎn)。雖然可以借助一些概率方法，引入類(lèi)似“相似度”的概念來(lái)緩解“漏檢”的風(fēng)險(xiǎn)，這一方案的離最終的用戶(hù)要求還有一段距離。然而，從另一個(gè)角度看“距離產(chǎn)生美”，技術(shù)之所以引人入勝，很大程度上就是因?yàn)椤熬嚯x”的存在。有理由相信，隨著行業(yè)的快速發(fā)展，在海量監(jiān)控視頻存儲(chǔ)系統(tǒng)上，引入智能分析技術(shù)將成為一種趨勢(shì)。