基于數(shù)字集成電路的智能監(jiān)控與識(shí)別追蹤系統(tǒng)*

*本項(xiàng)目獲得“2020全國(guó)大學(xué)生集成電路創(chuàng)新創(chuàng)業(yè)大賽”全國(guó)三等獎(jiǎng)，西南賽區(qū)一等獎(jiǎng)

作者簡(jiǎn)介：張健（1999—），男，漢，主要從事機(jī)器視覺，圖像處理，FPGA，RISC-V等方面的研究。

牛麗婷（2000—），女。王宜楠（1999—），女。

0   引言

近年來(lái)，隨著數(shù)字電子技術(shù)的不斷發(fā)展進(jìn)步，基于圖像處理的自動(dòng)監(jiān)控技術(shù)逐漸走進(jìn)大家的視野，公眾的安全與社會(huì)的穩(wěn)定由此受到一定的保障。傳統(tǒng)的視頻監(jiān)控系統(tǒng)主要是通過一些傳感器來(lái)采集數(shù)據(jù)，但需要有操作員長(zhǎng)時(shí)間觀察顯示器，并通過人腦的判斷來(lái)對(duì)其進(jìn)行相應(yīng)識(shí)別，十分耗費(fèi)精力。因此，引入智能監(jiān)控與識(shí)別追蹤技術(shù)十分有必要。本設(shè)計(jì)應(yīng)用移動(dòng)偵測(cè)，一旦采集得的圖像數(shù)據(jù)中移動(dòng)程度超過了檢測(cè)閾值，且判斷移動(dòng)的物體是人而不是動(dòng)物，系統(tǒng)即自動(dòng)發(fā)出報(bào)警及時(shí)通知監(jiān)測(cè)人員，并實(shí)現(xiàn)攝像頭的跟隨移動(dòng)監(jiān)控，從而大程度提高監(jiān)測(cè)效率。

1   整體構(gòu)架

本團(tuán)隊(duì)所設(shè)計(jì)的機(jī)器人的整體架構(gòu)設(shè)計(jì)框圖如圖1所示。由圖可見，系統(tǒng)分為相互聯(lián)系的攝像頭模塊、DDR3 SDRAM 數(shù)據(jù)存儲(chǔ)與通信模塊、圖像處理模塊以及蜂鳥 E203 RISC-V SoC 片上系統(tǒng)。

圖1 系統(tǒng)整體架構(gòu)設(shè)計(jì)圖

2   算法系統(tǒng)

2.1 背景差分法

2.1.1 原理介紹

背景差分法是先設(shè)定一張圖像作為背景圖像，然后通過對(duì)比背景圖像和接下來(lái)每一幀圖像數(shù)據(jù)的關(guān)系，設(shè)閾值做差分來(lái)分離出運(yùn)動(dòng)目標(biāo)輪廓的一種方法。背景差分法是當(dāng)前被廣泛采用的一種動(dòng)態(tài)目標(biāo)檢測(cè)方法。使用背景差分法檢測(cè)運(yùn)動(dòng)物體首先需要建立背景模板M(x,y)，預(yù)先儲(chǔ)存一幀圖像畫面作為背景圖像，然后接下來(lái)采集到的每一幀圖像T(x,y) 要與背景模板M(x,y)進(jìn)行減法運(yùn)算，在設(shè)定一個(gè)合適的閾值P 的前提下，減出來(lái)的數(shù)值如果在閾值之內(nèi)，則說(shuō)明畫面靜止；如果超出了閾值，則表示這個(gè)像素點(diǎn)是運(yùn)動(dòng)目標(biāo)的其中一個(gè)點(diǎn)，將兩種結(jié)果進(jìn)行二值化，最終結(jié)果設(shè)為B(x,y)。^[1]

背景差分法實(shí)現(xiàn)的關(guān)鍵是背景模型的獲取和更新。背景獲取算法通常要求在場(chǎng)景中存在運(yùn)動(dòng)目標(biāo)的情況下獲取背景圖像，更新過程使背景能夠適應(yīng)場(chǎng)景的各種變化和干擾, 如外界光線的改變, 背景中對(duì)象的擾動(dòng)和固定對(duì)象的移動(dòng)，陰影的影響等。一種典型的背景建模方法是用混合高斯模型描述背景圖像像素值的分布，目標(biāo)檢測(cè)過程中判斷圖像的當(dāng)前像素值是否符合該分布，若是被判為前景點(diǎn)，否則為背景點(diǎn)。同時(shí)根據(jù)新獲取的圖像，對(duì)背景圖像參數(shù)進(jìn)行自適應(yīng)更新。

在本設(shè)計(jì)中，我們將背景差分法與下文介紹的幀差法相結(jié)合，避免光照變化等情況對(duì)運(yùn)動(dòng)目標(biāo)的漏檢和誤檢，獲得系統(tǒng)檢測(cè)的魯棒性。

2.1.2 算法實(shí)現(xiàn)

在利用背景差分法來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)區(qū)域的檢測(cè)時(shí)，需要通過連續(xù)k 幀的區(qū)域反饋?zhàn)R別物體的移動(dòng)。本設(shè)計(jì)通過對(duì)實(shí)際圖像建模建立背景模板，將獲取的圖像數(shù)據(jù)與之比較，取約1 000 個(gè)不同時(shí)刻的像素值與原有數(shù)據(jù)求平均值，從而求出k 的最優(yōu)解，即k 為多少時(shí)，能夠較好地吻合數(shù)據(jù)波動(dòng)，并使k 盡可能地小，從而能確定取連續(xù)多少?gòu)埍尘皥D時(shí)，能最迅速且最高效地實(shí)現(xiàn)背景差分法檢測(cè)運(yùn)動(dòng)物體（如圖2）。

備注：算法所指平均值為“實(shí)時(shí)平均值” aver_time算術(shù)平均值稱為“真實(shí)平均值” aver_real

圖 a：可靠性reliability = (aver ? aver ) time real2 Design & Application 工業(yè)控制

圖b：分別將表格第4 列和第5 列畫出，可直觀感受到對(duì)比

圖c：將第4、5 列作差得到測(cè)量誤差隨幀數(shù)的變化

圖 d：波動(dòng)性volatility = probe2 ? avertime

2.1.3. 處理環(huán)境波動(dòng)

對(duì)于一個(gè)相對(duì)安靜的場(chǎng)景，我們將諸如光線明暗變化和風(fēng)吹葉動(dòng)稱為環(huán)境的固有波動(dòng)，屬于環(huán)境的固有屬性。而對(duì)于500 萬(wàn)像素的OV5640 拍攝出來(lái)的圖像，像素點(diǎn)的小范圍波動(dòng)稱為硬件波動(dòng)。在處理一個(gè)運(yùn)動(dòng)場(chǎng)景，要想分離出有效的運(yùn)動(dòng)目標(biāo)，就要克服環(huán)境固有波動(dòng)和硬件波動(dòng)。^[2]

本設(shè)計(jì)充分統(tǒng)計(jì)了這兩種不可消除的波動(dòng)分布，大致分為四個(gè)場(chǎng)景：光線明亮、光線昏暗、顏色多雜和純色背景。對(duì)于這四種不同場(chǎng)景，我們選取的閾值是不同的，充分提高監(jiān)控設(shè)備的運(yùn)動(dòng)偵測(cè)敏感度的同時(shí)，盡量做到不誤報(bào)。

2.2 HOG特征提取算法

2.2.1. HOG特征原理介紹

方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征是一種在計(jì)算機(jī)視覺和圖像處理中用來(lái)進(jìn)行物體檢測(cè)的特征描述子。它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征。Hog 特征結(jié)合SVM 分類器已經(jīng)被廣泛應(yīng)用于圖像識(shí)別中，尤其在行人檢測(cè)中獲得了極大的成功。[3]

1) 主要思想

在一副圖像中，局部目標(biāo)的表象和形狀（appearance and shape）能夠被梯度或邊緣的方向密度分布很好地描述。（本質(zhì)：梯度的統(tǒng)計(jì)信息，而梯度主要存在于邊緣的地方）。

2) 具體的實(shí)現(xiàn)方法：

首先將圖像分成小的連通區(qū)域，我們把它叫細(xì)胞單元。然后采集細(xì)胞單元中各像素點(diǎn)的梯度的或邊緣的方向直方圖。最后把這些直方圖組合起來(lái)就可以構(gòu)成特征描述器。

3) 提高性能：

把這些局部直方圖在圖像的更大的范圍內(nèi)（我們把它叫區(qū)間或block） 進(jìn)行對(duì)比度歸一化（contrastnormalized），所采用的方法是：先計(jì)算各直方圖在這個(gè)區(qū)間（block）中的密度，然后根據(jù)這個(gè)密度對(duì)區(qū)間中的各個(gè)細(xì)胞單元做歸一化。通過這個(gè)歸一化后，能對(duì)光照變化和陰影獲得更好的效果。[4]

2.2.2 HOG特征提取算法的實(shí)現(xiàn)過程

HOG 特征提取方法就是將一個(gè)image（你要檢測(cè)的目標(biāo)或者掃描窗口）：

1) 灰度化（將圖像看做一個(gè)x，y，z（灰度）的三維圖像）；

2) 采用Gamma 校正法對(duì)輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化（歸一化）；目的是調(diào)節(jié)圖像的對(duì)比度，降低圖像局部的陰影和光照變化所造成的影響，同時(shí)可以抑制噪聲的干擾；

3) 計(jì)算圖像每個(gè)像素的梯度（包括大小和方向）；主要是為了捕獲輪廓信息，同時(shí)進(jìn)一步弱化光照的干擾。

4) 將圖像劃分成小cells（例如6×6 像素/cell）；

5) 統(tǒng)計(jì)每個(gè)cell 的梯度直方圖（不同梯度的個(gè)數(shù)），即可形成每個(gè)cell 的descriptor；

6) 將每幾個(gè)cell 組成一個(gè)block（例如3*3 個(gè)cell/block），一個(gè)block 內(nèi)所有cell 的特征descriptor 串聯(lián)起來(lái)便得到該block 的HOG 特征descriptor。

7) 將圖像image 內(nèi)的所有block 的HOG特征descriptor串聯(lián)起來(lái)就可以得到該image（你要檢測(cè)的目標(biāo)）的HOG 特征descriptor 了。這個(gè)就是最終的可供分類使用的特征向量了。

2.3 人眼檢測(cè)

2.3.1 原理介紹

通過對(duì)輸入圖像矩陣的處理，標(biāo)記出人臉位置和眼睛的位置。

利用人臉幾何特征和sobel 邊緣檢測(cè)算法，對(duì)在有背景的灰度和彩色人臉圖像中自動(dòng)檢測(cè)與定位人眼的操作。通過讀取輸入的圖片并將其存儲(chǔ)在RGB 矩陣內(nèi)，接著對(duì)圖片人臉區(qū)域進(jìn)行識(shí)別；然后采用sobel 算法對(duì)人臉區(qū)域進(jìn)行邊緣提取，并在存儲(chǔ)邊緣輪廓的矩陣中結(jié)合臉部邊緣特征定位眼睛。

具體步驟如圖3。

圖3 人眼檢測(cè)部分功能框圖

2.3.2 程序設(shè)計(jì)

具體步驟如圖4。

圖4 眼部定位步驟流程

3   機(jī)械結(jié)構(gòu)

3.1 攝像頭

OV5640 攝像頭主要由鏡頭、圖像傳感器、板載電路及下方的信號(hào)引腳組成。鏡頭部件包含一個(gè)鏡頭座和一個(gè)可旋轉(zhuǎn)調(diào)節(jié)距離的凸透鏡，通過旋轉(zhuǎn)可以調(diào)節(jié)焦距，正常使用時(shí)，鏡頭座覆蓋在電路板上遮光，光線只能經(jīng)過鏡頭傳輸?shù)秸醒氲膱D像傳感器，它采集光線信號(hào)，然后把采集得到的數(shù)據(jù)通過下方的信號(hào)引腳輸出數(shù)據(jù)到外部器件。

3.2 WiFi

3.2.1 功能

實(shí)現(xiàn)實(shí)時(shí)WiFi 信息傳輸，為實(shí)現(xiàn)未帶口罩示警提供技術(shù)支撐。

3.2.2 特點(diǎn)

提供用戶按鈕，用于在模式切換后重置處理器。提供WiFi、低功耗藍(lán)牙和藍(lán)牙通信。

3.3 云臺(tái)監(jiān)控

Pmod Step 板驅(qū)動(dòng)步進(jìn)電機(jī)，帶動(dòng)攝像頭延長(zhǎng)板底座隨之轉(zhuǎn)動(dòng)，從而實(shí)現(xiàn)攝像頭的全方位跟隨監(jiān)控。

4 系統(tǒng)整合報(bào)告

4.1 魯棒性

本團(tuán)隊(duì)著手從反應(yīng)速度、視野范圍和移動(dòng)目標(biāo)漏檢率等指標(biāo)來(lái)衡量一個(gè)監(jiān)控檢測(cè)入侵系統(tǒng)的性能優(yōu)劣，并得出以下結(jié)論

4.1.1 監(jiān)控設(shè)備反應(yīng)速度較快

機(jī)器人采用OV5640 攝像頭，并使用Verilog 配置1 024×768 分辨率，像素時(shí)鐘pclk 為84 MHz，可計(jì)算出視頻幀率為65 Hz。

為消除環(huán)境波動(dòng)給背景分離過程帶來(lái)的影響，我們?nèi)?6 幀圖像為一次處理過程，計(jì)算出平均波動(dòng)值并和閾值比較。因此，機(jī)器人處理一次環(huán)境波動(dòng)所需時(shí)間 ，約為0.25 s，遠(yuǎn)低于市面上的智能監(jiān)控設(shè)備。

4.1.2 視野范圍廣

此機(jī)器人所用OV5640 攝像頭監(jiān)控角度大約為44.096 ° ( 誤差不超過5 °)， 推薦可監(jiān)控的直徑為0.2~5 m，理想距離為2 m。不難計(jì)算，機(jī)器人的視野范圍為0.162 2~4.054 m，理想距離下的視野寬度為1.622 m。在這樣較開闊的視野下，能有效保證監(jiān)控到室內(nèi)的每個(gè)角落，并能有良好的監(jiān)控效果。

4.1.3 移動(dòng)目標(biāo)可監(jiān)控范圍大

移動(dòng)目標(biāo)漏檢指標(biāo)，是用來(lái)表征監(jiān)控設(shè)備對(duì)高速和低速運(yùn)動(dòng)物體檢測(cè)能力。理想距離（2 m）下目標(biāo)以速度Vmax 快速橫向穿過監(jiān)控視野（1.622 m），所用時(shí)低于反應(yīng)速度即不被機(jī)器人捕捉到，可計(jì)算得機(jī)器人在理想監(jiān)控距離下的最大檢測(cè)速度Vmax=6.589 m/s。設(shè)靜止環(huán)境波動(dòng)值為M0，則機(jī)器人所設(shè)閾值為120% M0。此時(shí)目標(biāo)以速度Vmin 緩慢在監(jiān)控視野內(nèi)橫向移動(dòng)，若目標(biāo)移動(dòng)導(dǎo)致的環(huán)境波動(dòng)低于閾值，則可不被監(jiān)控識(shí)別到。此時(shí)速度應(yīng)滿足不等式，可計(jì)算出機(jī)器

人在理想監(jiān)控距離下的最小檢測(cè)速度Vmin=0.658 9 m/s。同理可得最小和最大監(jiān)控距離下的理論目標(biāo)速度范圍，如表1。

表1 最小和最大監(jiān)控距離下的理論目標(biāo)速度

經(jīng)實(shí)際測(cè)量，上述理論分析值可靠可信。由此可得，本機(jī)器人適用于絕大多數(shù)室內(nèi)監(jiān)控入侵場(chǎng)景，可檢測(cè)范圍囊括了全部目標(biāo)可能移動(dòng)速度，可以基本做到在較極端場(chǎng)景下的不漏檢，即有較高的性能魯棒性。

4.2 人與動(dòng)物區(qū)分效果

本設(shè)計(jì)中對(duì)人和動(dòng)物的區(qū)分部分采用了多重模塊同時(shí)作用，從而保證判斷結(jié)果更加準(zhǔn)確。另外，口罩顏色識(shí)別模塊還能確定人臉的口罩佩戴規(guī)范情況。因此，本設(shè)計(jì)中多重確認(rèn)的模塊共同發(fā)揮作用，使得人和動(dòng)物的識(shí)別判斷更加準(zhǔn)確和可靠( 如圖5)。

圖5 人與動(dòng)物區(qū)分邏輯圖

4.3 調(diào)試最終效果

系統(tǒng)具有兩種運(yùn)行狀態(tài): 正常監(jiān)控狀態(tài)和入侵報(bào)警監(jiān)控狀態(tài)。正常監(jiān)控狀態(tài)下不對(duì)監(jiān)控視頻進(jìn)行存儲(chǔ)和編碼傳輸，入侵報(bào)警監(jiān)控狀態(tài)下具有觸發(fā)相應(yīng)的報(bào)警裝置并記錄監(jiān)控視頻和向上一級(jí)監(jiān)控中心編碼傳輸監(jiān)控視頻的功能。

4.3.1 LED燈光顯示--動(dòng)態(tài)目標(biāo)顯示

當(dāng)采集得的圖像數(shù)據(jù)中檢測(cè)到移動(dòng)物體時(shí)，本設(shè)計(jì)中紅色LED 燈亮起，提示偵測(cè)目標(biāo)的出現(xiàn)。當(dāng)上位機(jī)控制云臺(tái)監(jiān)控電機(jī)向左轉(zhuǎn)動(dòng)時(shí)，藍(lán)色LED 燈亮起；向右轉(zhuǎn)動(dòng)時(shí)，綠色LED 燈亮起。

4.3.2 云臺(tái)轉(zhuǎn)動(dòng)跟蹤--目標(biāo)追蹤

本設(shè)計(jì)經(jīng)調(diào)試可實(shí)現(xiàn)智能跟蹤、自動(dòng)跟拍移動(dòng)目標(biāo)的功能，通過控制Pmod Step 板驅(qū)動(dòng)步進(jìn)電機(jī)，帶動(dòng)攝像頭延長(zhǎng)板底座隨之轉(zhuǎn)動(dòng)，從而實(shí)現(xiàn)攝像頭的自動(dòng)轉(zhuǎn)動(dòng)跟蹤功能。

4.3.3 上位機(jī)接收信號(hào)并反饋--警報(bào)信息傳送

當(dāng)采集得的圖像數(shù)據(jù)中被檢測(cè)有移動(dòng)物體且對(duì)象為人時(shí)，WiFi 模塊發(fā)送警報(bào)信息傳遞至上位機(jī)，引起監(jiān)測(cè)方的注意。

5   結(jié)語(yǔ)

作為微電子專業(yè)的大二學(xué)生，在參加這次全國(guó)大學(xué)生集成電路創(chuàng)新創(chuàng)業(yè)大賽中，除了專業(yè)能力的鍛煉，眼界視角的開闊外，給我們最大的影響其實(shí)是思想層面。

比賽中，偶然聽得指導(dǎo)教師“AI 已死”，“軟件定義芯片”的觀點(diǎn)，深感震撼，并對(duì)未來(lái)智能化的發(fā)展心馳神往。

我知道Robei 公司不僅僅是一家EDA 公司，也是一家芯片設(shè)計(jì)公司，我也知道了，本次賽題電路可重構(gòu)，設(shè)備可重構(gòu)，它真正的名字叫做“可重構(gòu)機(jī)器人”，是真正的未來(lái)機(jī)器人競(jìng)賽。我還知道，在華為被美國(guó)絞殺的今天，我們需要這樣的工具，而這樣的工具也需要我們?nèi)ブС滞晟啤?/p>

參考文獻(xiàn)：

[1] 圖像二值化[R/OL].https://baike.baidu.com/item/圖像二值化/1748870?fr=aladdin.

[2] SiFive,Inc.SiFive Freedom E310 Arty FPGA Dev Kit Getting Started Guide[Z].2017:5-12.

[3] 數(shù)字集成電路設(shè)計(jì)描述與仿真[EB/OL].https://m.book118.com/html/2017/0726/124465246.shtm?from=mip.

[4] MARGOLIS M.Arduino權(quán)威指南[M].楊昆云,譯.2版.北京:人民郵電出版社,2015.

（本文來(lái)源于《電子產(chǎn)品世界》雜志2021年3月期）