AI助力社會(huì)安全，最新視頻異常行為檢測方法框架

計(jì)算機(jī)視覺研究院專欄

作者：Edison_G

計(jì)算機(jī)視覺技術(shù)在越來越多的場景起到重要的作用，現(xiàn)在的視頻異常行為檢測就可以今早給予警察預(yù)警信息，大大減少暴力事件、游行游街行為、聚集性活動(dòng)等行為的發(fā)生。

01

前景

目前社會(huì)中始終會(huì)出現(xiàn)多多少少的異常行為，在目前人工智能發(fā)展的形式中，幾乎人均被幾個(gè)攝像頭拍攝到的情況下，本次熱點(diǎn)新聞事件中，經(jīng)過了較長時(shí)間都沒有得到警力的幫助，無非就是周圍群眾沒有及時(shí)報(bào)警制止該行為，另一種就是安裝的攝像頭沒有警報(bào)功能。如果在此終端的基礎(chǔ)上增加除了錄像功能外的警報(bào)功能，就更加完美。

好比在攝像頭實(shí)時(shí)監(jiān)控下，如果發(fā)現(xiàn)了異常行為，就會(huì)及時(shí)將報(bào)警信息反饋給中心端（一般是警察中心或者安保監(jiān)控室），當(dāng)員工看到警報(bào)，再通過視頻確認(rèn)，可以針對性作出一些措施，可能會(huì)大大減少犯罪的行為，也較大的提升社會(huì)安全度。

今天我們就來說說視頻實(shí)時(shí)行為異常檢測的一些事！

02

概要

今天分享的干貨中，研究者解決了異常檢測的問題，即檢測視頻序列中的異常事件。基于卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的異常檢測方法通常利用代理任務(wù)（例如重建輸入視頻幀）來學(xué)習(xí)描述正態(tài)性的模型，而不會(huì)在訓(xùn)練時(shí)看到異常樣本，并在測試時(shí)使用重建誤差來量化異常的程度。這些方法的主要缺點(diǎn)是它們沒有明確考慮正常模式的多樣性，而CNN強(qiáng)大的表示能力允許重建異常視頻幀。

為了解決這個(gè)問題，有研究者提出了一種異常檢測的無監(jiān)督學(xué)習(xí)方法，它明確地考慮了正常模式的多樣性，同時(shí)降低了CNN的表示能力。為此，研究者建議使用具有新更新方案的內(nèi)存模塊，其中內(nèi)存中的項(xiàng)目記錄正常數(shù)據(jù)的原型模式。還提出了新的特征緊湊性和分離損失來訓(xùn)練記憶，提高記憶項(xiàng)目和從正常數(shù)據(jù)中深度學(xué)習(xí)的特征的辨別力。標(biāo)準(zhǔn)基準(zhǔn)的實(shí)驗(yàn)結(jié)果證明了新提出方法的有效性和效率，其性能優(yōu)于現(xiàn)有技術(shù)。

03

新框架簡述

新模型在CUHK Avenue上的特征和記憶項(xiàng)目分布。特征和項(xiàng)目分別以點(diǎn)和星顯示。具有相同顏色的點(diǎn)映射到同一個(gè)項(xiàng)目。內(nèi)存中的項(xiàng)目捕獲正常數(shù)據(jù)的各種原型模式。這些特征具有高度的判別力，并且相似的圖像塊可以很好地聚類。

在下圖中展示了新框架的概述。重建輸入幀或預(yù)測未來的無監(jiān)督異常檢測。輸入四個(gè)連續(xù)的視頻幀來預(yù)測第五個(gè)用于預(yù)測任務(wù)。由于預(yù)測可以被認(rèn)為是使用以前的幀重建未來幀，使用幾乎相同的網(wǎng)絡(luò)架構(gòu)，兩個(gè)任務(wù)的損失相同。在下文中詳細(xì)描述了研究者用于重建任務(wù)的方法。

新模型主要由三個(gè)組件組成：編碼器、內(nèi)存模塊和****。 

編碼器輸入一個(gè)正常的視頻幀并提取查詢特征。然后使用這些特征來檢索記憶項(xiàng)目中的原型正常模式并更新記憶。將聚合（即讀取）的查詢特征和記憶項(xiàng)提供給****，以重建輸入視頻幀。使用端到端的重構(gòu)、特征緊湊性和特征分離損失來訓(xùn)練新模型。 

在測試時(shí)，使用加權(quán)正則分?jǐn)?shù)來防止內(nèi)存被異常視頻幀更新。計(jì)算輸入幀與其重建之間的差異以及查詢特征與內(nèi)存中最近項(xiàng)目之間的距離，以量化視頻幀中異常的程度。

讀取和更新內(nèi)存圖解

04

實(shí)驗(yàn)及總結(jié)

異常行為應(yīng)用的領(lǐng)域較廣，比如校園車輛行人不規(guī)范的異常，交通路口闖紅燈行為，廣場大面積聚集活動(dòng)等應(yīng)用。如下圖：

或者在學(xué)校，通過該技術(shù)監(jiān)測學(xué)生上課聽課程度，學(xué)生到課率等行為。

本次新框架的實(shí)驗(yàn)結(jié)果，如下表：

輸入幀（左）；預(yù)測誤差（中）；異常區(qū)域（右）。我們可以看到新模型定位了異常事件的區(qū)域。