基于關(guān)鍵幀提取技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)

Microsoft公司的Windows Media的核心是ASF(Advanced Stream Format)。微軟將ASF 定義為同步媒體的統(tǒng)一容器文件格式。ASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過這種格式，以網(wǎng)絡(luò)數(shù)據(jù)包的形式傳輸，實(shí)現(xiàn)流 式多媒體內(nèi)容發(fā)布。

ASF最大優(yōu)點(diǎn)就是體積小，因此適合網(wǎng)絡(luò)傳輸，使用微軟公司的最新媒體播放器可以直接播放該格式的文件。用戶可以將圖形、聲音和動畫數(shù)據(jù)組合成一個(gè)ASF格式的文件，當(dāng)然也可以將其他格式的視頻和音頻轉(zhuǎn)換為ASF格 式，而且用戶還可以通過聲卡和視頻捕獲卡將諸如麥克風(fēng)、錄像機(jī)等等外設(shè)的數(shù)據(jù)保存為ASF格式

ASF具有可擴(kuò)展的媒體類型，ASF文件允許制作者很容易地定義新的媒體類型。ASF格式提供了非常有效的靈活地定義符合ASF文件格式定義的新的媒體流類型。任一存儲的媒體流邏輯上都是獨(dú)立于其他媒體流的，除非在文件頭部分明顯地定義了其與另一媒體流的關(guān)系。

ASF是設(shè)計(jì)用來表示可伸縮的媒體類型的帶寬之間的依賴關(guān)系。ASF存儲各個(gè)帶寬就像一個(gè)單獨(dú)的媒體流。媒體流之間的依賴關(guān)系存儲在文件頭部分，為客戶機(jī)以一個(gè)獨(dú)立于壓縮的方式解釋可伸縮的選項(xiàng)提供了豐富的信息流的優(yōu)先級，現(xiàn)代的多媒體傳輸系統(tǒng)能夠動態(tài)地調(diào)整以適應(yīng)網(wǎng)絡(luò)資源緊張的情況如帶寬不足。多媒體內(nèi)容的制作者要能夠根據(jù)流的優(yōu)先級表達(dá)他們的參考信息，如最低保證音頻流的傳輸。隨著可伸縮媒體類型的出現(xiàn)，流的優(yōu)先級的安排變得復(fù)雜起來，因?yàn)樵谥谱鞯臅r(shí)候很難決定各媒體流的順序。

ASF設(shè)計(jì)為支持多語言。媒體流能夠可選地指示所含媒體的語言。這個(gè)功能常用于音頻和文本流。一個(gè)多語言ASF文件指的是包含不同語言版本的同一內(nèi)容的一系列媒體流，其允許客戶機(jī)在播放的過程中選擇最合適的版本。

ASF提供可繼續(xù)擴(kuò)展的目錄信息的功能，該功能的擴(kuò)展性和靈活性都非常好。所有的目錄信息都以無格式編碼的形式存儲在文件頭部分，并且支持多語言，如果需要，目錄信息既可預(yù)先定義如作者和標(biāo)題，也可以是制作者自定義。目錄信息功能既可以用于整個(gè)文件也可以用于單個(gè)媒體流。

ASF文件主要有三種數(shù)據(jù)對象組成Header Object，Data Object，Index Object。Header Object包括ASF文件的主要信息，必須位于文件首部。Data Object包含數(shù)據(jù)信息，緊跟在Header Object之后，Index Object是非必須，提供跳躍索引，位于文件結(jié)尾。RTSP協(xié)議中，ASF的Header Object用Base64編碼加密以后放在SDP(Session Description Protocol)數(shù)據(jù)包中。

在系統(tǒng)中，我們采用了移植在eBox-4300上的WinCE作為系統(tǒng)的嵌入式操作系統(tǒng)，為了解碼器的工作效率和移植方便，我們采用ASF流媒體文件格式。根據(jù)搭建的基于RTSP協(xié)議的流媒體服務(wù)器，可以校驗(yàn)在網(wǎng)絡(luò)中截取到數(shù)據(jù)包的特定協(xié)議字段，如果應(yīng)用層協(xié)議有RTSP的協(xié)議字段，就將數(shù)據(jù)包取出，按協(xié)議進(jìn)行對包的卸載，提取出ASF文件，再將ASF文件按序列傳輸?shù)较乱惶幚韱卧M(jìn)行視頻解碼，并提取出關(guān)鍵幀。

2.網(wǎng)絡(luò)視頻關(guān)鍵幀提取

視頻數(shù)據(jù)是分層結(jié)構(gòu)，結(jié)構(gòu)粒度從上到下逐漸減小。最頂層是粒度最大的視頻，即一段視頻流。最底層是粒度最小的幀，即單個(gè)的視頻幀圖像，對幀圖像的處理可以采用圖像特征提取技術(shù)，提取諸如顏色、紋理、形狀等靜態(tài)特征或空間運(yùn)動的動態(tài)特征。鏡頭是一組時(shí)間上連續(xù)的幀序列，它代表一個(gè)場景中在時(shí)間上和空間上連續(xù)的動作，對應(yīng)著攝像機(jī)的一次記錄起停操作，也稱為剪裁或拍攝。鏡頭是視頻數(shù)據(jù)的最小單元，視頻檢索的結(jié)果就是獲得符合條件的若干鏡頭。場景是一組語義上相關(guān)聯(lián)及在時(shí)間上相鄰的鏡頭的集合。

圖3 視頻層次結(jié)構(gòu)示意圖

關(guān)鍵幀是反映一組鏡頭中主要信息內(nèi)容的一幀或若干幀圖像，可以簡潔地表達(dá)鏡頭內(nèi)容。因?yàn)槊總€(gè)鏡頭都是在同一場景下拍攝的，同一個(gè)鏡頭中的各幀圖像有相當(dāng)大的重復(fù)信息?？紤]到存儲容量和處理效率的因素，僅需要存儲鏡頭關(guān)鍵幀，可達(dá)到降低系統(tǒng)存儲容量和減少處理器冗余工作的效果。其次，從關(guān)鍵幀的匹配效率考慮，用關(guān)鍵幀來代表鏡頭，作用類似于入侵檢測系統(tǒng)中的匹配規(guī)則，這樣對網(wǎng)絡(luò)視頻流可用圖像匹配技術(shù)進(jìn)行處理。

針對關(guān)鍵幀的特點(diǎn)，選取時(shí)有兩個(gè)基本要求:第一，所選幀必須能夠反映鏡頭中的主要事件，描述應(yīng)盡可能準(zhǔn)確完全，所以一般采用保守原則，寧可錯(cuò)選，也不能少提取;第二，為了減少系統(tǒng)存儲設(shè)備，提高處理數(shù)據(jù)包的效率，數(shù)據(jù)處理量應(yīng)盡量小，計(jì)算不宜過于復(fù)雜，因此關(guān)鍵幀的抽取應(yīng)盡量少而精確。

早期的提取關(guān)鍵幀的嘗試主要是采用顏色特征。一個(gè)簡單的提取關(guān)鍵幀的想法是選擇鏡頭片段的第一幀作為關(guān)鍵幀。當(dāng)然這樣提取的關(guān)鍵幀是很不準(zhǔn)確的。在基于鏡頭的方法中，比較經(jīng)典的有幀平均法和直方圖平均法。幀平均法是從鏡頭中取所有幀在某個(gè)位置上像素值的平均值，然后將鏡頭中該點(diǎn)位置的像素值最接近平均值的幀作為關(guān)鍵幀。直方圖平均法則是將鏡頭中所有幀的統(tǒng)計(jì)直方圖取平均，然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀。這些方法的優(yōu)點(diǎn)是計(jì)算比較簡單，所選取的幀具有平均代表意義。缺點(diǎn)是只從一個(gè)鏡頭中選取一個(gè)關(guān)鍵幀，無法處理運(yùn)動強(qiáng)度較高的鏡頭。一般說來，從鏡頭中選取一幀或固定數(shù)目的關(guān)鍵幀的方法并不是很好，因?yàn)楫?dāng)處理變化很少的鏡頭時(shí)，這樣選取的關(guān)鍵幀過多，而對于運(yùn)動較多的鏡頭，用一兩個(gè)關(guān)鍵幀又無法充分描述其內(nèi)容。所以有人提出了基于內(nèi)容分析的方法。

綜合前人的研究成果，我們在本系統(tǒng)采用漸變控制的方法。首先選取每個(gè)鏡頭的第一幀作為關(guān)鍵幀，同時(shí)作為其他候選關(guān)鍵幀的參考幀，將后續(xù)每幀和參考幀比較，當(dāng)其差別大于預(yù)定的閥值時(shí)，即將當(dāng)前幀作為新的關(guān)鍵幀，同時(shí)將此幀作為新的參考幀。

3. 視頻關(guān)鍵幀匹配

常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關(guān)系特征等。

顏色特征是一種全局特征,描述了圖像或圖像區(qū)域所對應(yīng)的景物的表面性質(zhì)。一般顏色特征是基于像素點(diǎn)的特征，此時(shí)所有屬于圖像或圖像區(qū)域的像素都有各自的貢獻(xiàn)。由于顏色對圖像或圖像區(qū)域的方向、大小等變化不敏感，所以顏色特征不能很好地捕捉圖像中對象的局部特征。