海量圖像視頻分析解決方案

　　城市公共場(chǎng)所往往有成千上萬(wàn)路監(jiān)控攝像頭遍布街頭，晝夜不停地監(jiān)視和錄像，在改善社會(huì)治安的同時(shí)，也產(chǎn)生出海量的視頻需要監(jiān)控管理平臺(tái)處理。要對(duì)這些海量視頻通過(guò)人工進(jìn)行重點(diǎn)圖像的抓拍，困難很大。

　　首先，需要對(duì)所有的視頻錄像進(jìn)行諸秒瀏覽，才能發(fā)現(xiàn)重點(diǎn)圖像，這無(wú)疑工作量巨大，甚至猶如大海撈針。

　　其次，即使找到了重點(diǎn)圖像，人工抓拍，并且要記錄下對(duì)應(yīng)的原始視頻圖像的時(shí)間點(diǎn)等，也是工作量很大，效率很低。由于人的生理特征所限，長(zhǎng)時(shí)間觀看視頻錄像，容易產(chǎn)生視覺(jué)疲勞，還有可能漏掉重要圖像和線索。

　　理想情況是一旦有重要事件發(fā)生，系統(tǒng)就可在事后能快速查找到線索。針對(duì)上述海量監(jiān)控視頻錄像的事后分析，傳統(tǒng)以人海戰(zhàn)術(shù)為主的視頻線索查找，顯然不能滿足高效查找，正面臨巨大挑戰(zhàn)，急需一種更為高效的、自動(dòng)的、智能的系統(tǒng)實(shí)現(xiàn)上述需求。目前，視頻濃縮摘要技術(shù)和視頻分類檢索技術(shù)可以解決這一問(wèn)題。通過(guò)視頻濃縮摘要，縮短視頻事件的播放時(shí)間，通過(guò)目標(biāo)分類篩查等實(shí)現(xiàn)快速查找事件線索，縮小查看范圍的功能，這些都極大地減輕專業(yè)巡控隊(duì)伍和系統(tǒng)維護(hù)人員的工作負(fù)荷，這些視頻分析功能的實(shí)現(xiàn)和應(yīng)用將大大提高監(jiān)控效率。

　　這一技術(shù)將傳統(tǒng)的事后被動(dòng)調(diào)用圖像信息變?yōu)橹鲃?dòng)發(fā)現(xiàn)視頻監(jiān)控圖像的可疑點(diǎn)，并透過(guò)核查錄入系統(tǒng)，負(fù)責(zé)將專業(yè)巡控隊(duì)伍在發(fā)現(xiàn)可疑事件時(shí)抓取的圖像、圖片資源集中存儲(chǔ)，并生成事件的描述信息，包括基于時(shí)間、地點(diǎn)（通道）、事件類型（技防告警、移動(dòng)偵測(cè)等）、標(biāo)記等，實(shí)現(xiàn)基于事件描述的精確查詢功能及視頻錄像的秒級(jí)精確定位。

　　本解決方案所描述的“智能海量視頻監(jiān)控錄像分析及核查錄入解決方案”是深圳久凌軟件技術(shù)有限公司核心產(chǎn)品解決方案。其核心技術(shù)主要包括三部分：視頻濃縮摘要與圖像快照錄入；視頻目標(biāo)分類篩查檢索；視頻增強(qiáng)和夜間視頻處理。這三部分塊既可以單獨(dú)使用也可以有機(jī)配合形成整體解決方案，該系統(tǒng)填補(bǔ)了我國(guó)海量視頻監(jiān)控事后分析取證及視頻目標(biāo)篩查檢索的空白，技術(shù)在國(guó)際上處于領(lǐng)先地位。

一、 視頻濃縮摘要與圖像快照錄入子系統(tǒng)

　　由于視頻瀏覽和檢索很耗時(shí)，大多數(shù)取得的視頻并不會(huì)從頭到尾觀看和檢查。視頻濃縮摘要就成了一種瀏覽檢索視頻的有效工具。

　　1、技術(shù)原理

　　“視頻摘要”是指從原始視頻中提取感興趣的目標(biāo)的活動(dòng)管道三維信息，和背景視頻合成剪輯而成的較短視頻片斷，它通過(guò)同時(shí)播放多個(gè)事件，將一天的視頻被壓縮成一個(gè)簡(jiǎn)短到幾十分鐘的事件摘要視頻；其中包含了原視頻中所有重要的目標(biāo)活動(dòng)詳情和快照。視頻濃縮摘要可以采用原始視頻分辨率，也可以根據(jù)存儲(chǔ)要求降低分辨率。管理人員通過(guò)點(diǎn)擊濃縮視頻中的目標(biāo)或者視頻左側(cè)快照，播放目標(biāo)出現(xiàn)前后的原始視頻。

　　更加快捷的方式是通過(guò)分割前景和背景，提取活動(dòng)目標(biāo)，用快照列表這種更加直觀便捷的方式展示。在視頻摘要和快照列表中，對(duì)于人或車輛目標(biāo)，可以自動(dòng)高亮顯示目標(biāo)的邊框，顯示目標(biāo)出現(xiàn)的時(shí)間，移動(dòng)軌跡，并且支持用戶通過(guò)點(diǎn)擊目標(biāo)快照，播放目標(biāo)出現(xiàn)前后的原始視頻，或者該目標(biāo)活動(dòng)與背景合成的視頻。

　　　　　　　　　　　　　　　　　24小時(shí)原始監(jiān)控視頻

濃縮為數(shù)分鐘視頻摘要

　　2、 應(yīng)用

　　為了提高濃縮比，提高效果，可以在視頻濃縮時(shí)指定“敏感區(qū)”，這樣只會(huì)對(duì)進(jìn)入這個(gè)區(qū)域的活動(dòng)目標(biāo)進(jìn)行摘要。

　　本系統(tǒng)支持禁區(qū)設(shè)置，對(duì)于進(jìn)入禁區(qū)和離開(kāi)禁區(qū)的目標(biāo)進(jìn)行提取，同時(shí)對(duì)于邊界絆線事件、人物尾隨、異常移動(dòng)、車輛違規(guī)以及人車交互事件進(jìn)行檢測(cè)與自動(dòng)標(biāo)注。

　　在本系統(tǒng)中，專業(yè)巡查人員（管理人員）瀏覽濃縮視頻或者快照列表，發(fā)現(xiàn)感興趣的目標(biāo)以后，點(diǎn)擊目標(biāo)，播放目標(biāo)出現(xiàn)時(shí)的原始視頻，在系統(tǒng)自動(dòng)生成目標(biāo)的時(shí)間、地點(diǎn)（通道）、目標(biāo)高度、運(yùn)動(dòng)方向、目標(biāo)主要顏色次要顏色和事件類型的基礎(chǔ)上，管理人員可以手工完善事件類型，輸入事件標(biāo)記及其它用于索引的信息。支持按照目標(biāo)出現(xiàn)的時(shí)間、地點(diǎn)（通道）、目標(biāo)高度、運(yùn)動(dòng)方向、主導(dǎo)顏色和事件類型查詢事件。本系統(tǒng)相比于傳統(tǒng)視頻播放查找事件線索標(biāo)注，能提供效率數(shù)十倍，有效減輕巡查隊(duì)伍的工作負(fù)荷。

圖　通過(guò)3×3視頻快照找到原始視頻

圖　 通過(guò)點(diǎn)擊濃縮視頻摘要 自動(dòng)找到原始視頻

　　3、特點(diǎn)

　　● 數(shù)分鐘看完一天的視頻，無(wú)需快進(jìn)，活動(dòng)細(xì)節(jié)仍以真實(shí)速度播放

　　● 濃縮密度，感興趣區(qū)域或事件檢測(cè)區(qū)域可自由設(shè)置

　　● 從濃縮視頻中選擇、點(diǎn)擊回放某一目標(biāo)物體

　　● 支持自動(dòng)記錄目標(biāo)出現(xiàn)的時(shí)間、地點(diǎn)（通道）、目標(biāo)高度、運(yùn)動(dòng)方向、主要顏色、次要顏色和事件類型

　　● 支持手工修改事件屬性和輸入事件標(biāo)記

　　● 自由添加針對(duì)軌跡，人車類別等分類條件，實(shí)現(xiàn)基于分類的視頻濃縮

　　● 按人車和顏色，大小速度方向等條件展示目標(biāo)快照

　　● 簡(jiǎn)單易用，無(wú)縫連接DVR/DVS和第三方監(jiān)控管理平臺(tái)

　　● 支持按照目標(biāo)出現(xiàn)的時(shí)間、地點(diǎn)（通道）、目標(biāo)高度、運(yùn)動(dòng)方向、顏色和事件類型查詢事件

二、視頻目標(biāo)分類篩查檢索系統(tǒng)

　　該系統(tǒng)是在視頻濃縮摘要與圖像快照錄入子系統(tǒng)的基礎(chǔ)上開(kāi)發(fā)出來(lái)的，以其為基礎(chǔ)，同時(shí)又增加了新的功能。

　　1、 原理與應(yīng)用

　　配合目擊證人提供的線索，在對(duì)事故現(xiàn)場(chǎng)的視頻摘要進(jìn)行快速瀏覽以后，巡控人員（管理員）就可以找到一些有用的線索，如果在某一視頻摘要中發(fā)現(xiàn)了一些感興趣的目標(biāo)，通常需要在更多位置的攝像機(jī)攝錄的視頻文件中搜索和檢查該目標(biāo)（嫌疑人或車輛）是否在其它地方出現(xiàn)過(guò)。

　　管理員通過(guò)提供目標(biāo)特征（人車類別，顏色、高度、方向、速度等）、一幅快照樣本或素描圖來(lái)請(qǐng)求搜索。視頻目標(biāo)分類篩查檢索系統(tǒng)，首先使用一種有效的運(yùn)動(dòng)分割方法提取出運(yùn)動(dòng)的目標(biāo)細(xì)節(jié)，而后這些運(yùn)動(dòng)目標(biāo)的基本特征作為元數(shù)據(jù)被提取出來(lái)，存放到數(shù)據(jù)庫(kù)。在整個(gè)的檢索過(guò)程中，系統(tǒng)將提取檢索輸入的特征， 請(qǐng)求比對(duì)數(shù)據(jù)庫(kù)中已經(jīng)索引好的目標(biāo)特征，而不用重新處理視頻。最后，擁有足夠高相關(guān)度的視頻目標(biāo)快照將被作為檢索篩查結(jié)果顯示出來(lái)。

　　本系統(tǒng)可以多攝像機(jī)視頻同步檢索，無(wú)縫接駁核查錄入存儲(chǔ)中心系統(tǒng)。系統(tǒng)支持多種檢索條件，包括時(shí)間、地點(diǎn)（通道）、事件（技防告警、移動(dòng)偵測(cè)等）、標(biāo)記等的精確查詢功能，并實(shí)現(xiàn)視頻錄像的秒級(jí)精確定位。提供基于監(jiān)控探頭屬性（包括地理位置/GIS坐標(biāo)、探頭規(guī)格、監(jiān)控范圍、特殊應(yīng)用功能等）、事件、目標(biāo)快照、目標(biāo)素描等的模糊查詢功能，對(duì)應(yīng)的模糊識(shí)別方法實(shí)現(xiàn)市局與分局、派出所、街道之間圖像資源查詢同一個(gè)平臺(tái)框架下通過(guò)數(shù)據(jù)庫(kù)共享使用。

　　2、 特點(diǎn)

　　● 支持多種檢索條件，包括時(shí)間、地點(diǎn)（通道）、事件（技防告警、移動(dòng)偵測(cè)等）、標(biāo)記等的精確查詢功能

　　● 支持基于事件、目標(biāo)分類或者樣本檢索等模糊查詢檢索功能

　　● 可以多攝像機(jī)視頻同步檢索，無(wú)縫接駁核查錄入存儲(chǔ)中心系統(tǒng)

　　● 通過(guò)核查錄入存儲(chǔ)中心系統(tǒng)，實(shí)現(xiàn)跨分局的同步檢索

　　● 更加能夠發(fā)揮云計(jì)算并行處理的優(yōu)勢(shì)

　　● 直接生成快照列表供管理員查找，快速找到目標(biāo)可能的所在位置

　　● 點(diǎn)擊目標(biāo)快照，播放原始視頻

　　● 支持自動(dòng)記錄目標(biāo)出現(xiàn)的時(shí)間、地點(diǎn)（通道）、目標(biāo)高度、運(yùn)動(dòng)方向、主要顏色、次要顏色和事件類型

　　● 支持手工修改事件屬性和輸入事件標(biāo)記

三、視頻增強(qiáng)和夜間視頻處理子系統(tǒng)

　　這個(gè)子系統(tǒng)是對(duì)前面兩個(gè)系統(tǒng)的補(bǔ)充。視頻增強(qiáng)和夜間視頻處理子系統(tǒng)，可以作為本系統(tǒng)的前置處理模塊，用于提升視頻質(zhì)量。

　　針對(duì)夜間低照度和高噪聲問(wèn)題，視頻壓縮產(chǎn)生的方塊效應(yīng)以及畫(huà)面閃爍，運(yùn)動(dòng)產(chǎn)生的模糊，系統(tǒng)首創(chuàng)了通過(guò)光流估計(jì)及邊沿銳化技術(shù)，解決夜間弱光條件下視頻去模糊和低質(zhì)量圖像提升問(wèn)題，針對(duì)運(yùn)動(dòng)模糊的模糊核的估計(jì)去模糊技術(shù)，可以將人眼無(wú)法分辨的模糊圖像圖片還原。

運(yùn)動(dòng)過(guò)程中不清晰的卡車圖像

運(yùn)動(dòng)模糊去除　還原后的圖像

　　綜上所述，智能海量視頻監(jiān)控錄像分析系統(tǒng)能夠解決用戶實(shí)際需求：系統(tǒng)視頻的實(shí)時(shí)調(diào)看和錄像回放功能，并能夠?qū)崿F(xiàn)對(duì)重點(diǎn)圖像的抓拍功能，并對(duì)抓拍照片的抓拍時(shí)間、地點(diǎn)、點(diǎn)位編號(hào)、抓拍原因、案事件簡(jiǎn)要內(nèi)容、抓拍目標(biāo)特征等信息進(jìn)行記錄和查詢等需求方面，完全能夠滿足功能要求，而且與傳統(tǒng)方法相比，具有明顯優(yōu)勢(shì)。　　　

　　我們可以將其概括為“五放心”的視頻增強(qiáng)、濃縮摘要與檢索產(chǎn)品，即：

　　領(lǐng)導(dǎo)稱心（領(lǐng)導(dǎo)手機(jī)查看高質(zhì)量）

　　使用舒心（分類檢索不用大海撈針）

　　維護(hù)省心（每天只需幾分鐘瀏覽）

　　環(huán)保放心（節(jié)省硬盤）

　　贏得民心（改善治安）

　　海量視頻監(jiān)控錄像分析和核查錄入系統(tǒng)解決方案的應(yīng)用可以描述為：

　　1.管理人員根據(jù)案件事件線索，比如一個(gè)“穿紅色上衣的成年嫌疑人”出現(xiàn)在現(xiàn)場(chǎng)，案發(fā)時(shí)間、地點(diǎn)（攝像機(jī)通道號(hào)）作為案情錄入；

　　2.核查錄入軟件調(diào)度相關(guān)地點(diǎn)及附近地點(diǎn)視頻錄像到存儲(chǔ)中心；

　　3.如果視頻不清晰，先用視頻增強(qiáng)軟件預(yù)處理；

　　4.先進(jìn)行單個(gè)攝像頭視頻的處理，使用視頻濃縮摘要與圖像快照錄入子系統(tǒng)生成快照列表和濃縮視頻文件，通過(guò)快照找出嫌疑目標(biāo)，錄入事件信息到核查錄入系統(tǒng)

　　5. 通過(guò)視頻目標(biāo)分類篩查檢索子系統(tǒng)搜索周邊攝像機(jī)案發(fā)前后的錄像文件，找出從目標(biāo)進(jìn)入到離開(kāi)現(xiàn)場(chǎng)的全程軌跡，錄入跨攝像頭事件全程信息到核查錄入系統(tǒng)

　　6.上述自動(dòng)搜索系統(tǒng)可以與人工核查錄入系統(tǒng)并存。