實(shí)戰(zhàn) | 實(shí)時(shí)的目標(biāo)檢測(cè)與識(shí)別簡(jiǎn)單應(yīng)用

一、問(wèn)題來(lái)源

最近總是有很多入門的朋友問(wèn)我，我進(jìn)入計(jì)算機(jī)視覺(jué)這個(gè)領(lǐng)域難不難？是不是要學(xué)習(xí)很多知識(shí)？到底哪個(gè)方向比較好？

這些問(wèn)題其實(shí)我也不好回答他們，只能衷心告訴他們，如果你對(duì)這領(lǐng)域特別感興趣，那你可以進(jìn)來(lái)試試玩玩，如果試過(guò)了玩過(guò)了，覺(jué)得這不是你喜歡的領(lǐng)域，那你可以立馬退出，選擇你喜歡的領(lǐng)域方向。我個(gè)人一直認(rèn)為，科研這個(gè)東西，真的是要有興趣愛(ài)好，這是你動(dòng)力和創(chuàng)新的源泉。只有對(duì)自己選擇的領(lǐng)域有興趣，有動(dòng)力深入挖掘，我覺(jué)得一定會(huì)做得很好，可能還會(huì)創(chuàng)造出許多意想不到的結(jié)果。

如果現(xiàn)在你們?nèi)腴T的朋友，選擇了目標(biāo)檢測(cè)類，你們可以沒(méi)事玩玩今天說(shuō)的框架和網(wǎng)絡(luò)，這個(gè)過(guò)程真的可以學(xué)習(xí)很多東西，只要你愿意花費(fèi)時(shí)間和精力去深入，現(xiàn)在我們閑話少說(shuō)，直接進(jìn)入正題。

二、我們來(lái)分析

正如我之前說(shuō)的：深度學(xué)習(xí)近期總結(jié)分析。在目標(biāo)檢測(cè)中，有很多經(jīng)典的網(wǎng)絡(luò)框架，比如RCNN，SSP，F(xiàn)ast RCNN。其中Fast RCNN就使用Selective Search來(lái)進(jìn)行候選區(qū)域，但是速度依然不夠快。今天的主角（Faster R-CNN）則直接利用RPN（Region Proposal Networks)網(wǎng)絡(luò)來(lái)計(jì)算候選框。RPN以一張任意大小的圖片為輸入，輸出一批矩形候選區(qū)域，每個(gè)區(qū)域?qū)?yīng)一個(gè)目標(biāo)分?jǐn)?shù)和位置信息。Faster R-CNN中的RPN結(jié)構(gòu)如圖所示。

Faster RCNN的主要步驟如下：

特征提取：同F(xiàn)ast RCNN，以整張圖片為輸入，利用CNN得到圖片的特征層；

候選區(qū)域：在最終的卷積特征層上利用k個(gè)不同的矩形框（Anchor Box）進(jìn)行提名，k一般取9；

分類與回歸：對(duì)每個(gè)Anchor Box對(duì)應(yīng)的區(qū)域進(jìn)行object/non-object二分類，并用k個(gè)回歸模型（各自對(duì)應(yīng)不同的Anchor Box）微調(diào)候選框位置與大小，最后進(jìn)行目標(biāo)分類。

總之，F(xiàn)aster RCNN拋棄了Selective Search，引入了RPN網(wǎng)絡(luò)，使得候選區(qū)域、分類、回歸一起共用卷積特征，從而得到了進(jìn)一步的加速。但是，F(xiàn)aster RCNN需要對(duì)兩萬(wàn)個(gè)Anchor Box先判斷是否是目標(biāo)（目標(biāo)判定），然后再進(jìn)行目標(biāo)識(shí)別，分成了兩步。

今天就來(lái)講講怎么簡(jiǎn)單操作該網(wǎng)絡(luò)，以便后期有興趣的朋友再次基礎(chǔ)上做出改進(jìn)。

三、簡(jiǎn)單入門實(shí)踐

git官網(wǎng)的py-faster-rcnn源碼

終端輸入：cd /home/**（您服務(wù)器的名字）

                    git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git

生成Cython模塊

終端輸入：cd /home/**（您服務(wù)器的名字）/py-faster-rcnn/lib

                   make

生成Caffe和pycaffe

終端輸入：cd /home/**（您服務(wù)器的名字）/py-faster-rcnn/caffe-fast-rcnn

                    cp Makefile.config.example Makefile.config

打開(kāi)Makefile.config，修改之處可以根據(jù)您自己需求修改（比如你要使用Python，GPU等功能）

保存退出。

終端輸入：cd /home/**（您服務(wù)器的名字）/py-faster-rcnn/caffe-fast-rcnn

                    mkdir build

                    cd build

                    cmake ..（注意這是兩個(gè)句點(diǎn)，不要忘記）

                    make all -j16（"‐j16"是使用 CPU 的多核進(jìn)行編譯,可以提速，根據(jù)您自己

                    硬件調(diào)整）

                    make install

                    make runtest -j16

                    make pycaffe（編譯pycaffe）

下載fetch_fast_rcnn_models

終端輸入：cd /home/**（您服務(wù)器的名字）/py-faster-rcnn

                    ./data/scripts/fetch_faster_rcnn_models.sh

運(yùn)行demo.py

終端輸入：cd /home/home/**（您服務(wù)器的名字）/py-faster-rcnn/tools

                    ./demo.py

到這幾，基本的都完成了，接下來(lái)就是實(shí)現(xiàn)自己的數(shù)據(jù)train和demo。

1

首先制作自己的數(shù)據(jù)集

（如果您用公共數(shù)據(jù)集，那就可以忽略這步驟）

保留data/VOCdevkit2007/VOC2007/Annotations和ImageSets和JPEGImages文件夾名稱，刪除其中所有的文件（保留文件夾）。其中Annotations保存標(biāo)簽txt轉(zhuǎn)換的xml文件，ImageSets保存train.txt、trainval.txt、test.txt、val.txt四個(gè)文件分別儲(chǔ)存在layout、main和Segmentation文件夾中，最后JPEGImages保存所訓(xùn)練的數(shù)據(jù)。

然后，Annotations中xml文件的制作。該部分的代碼我會(huì)放在公眾平臺(tái)的共享文件菜單中。最后做出來(lái)的效果就是如下所示：

最終生成的格式如下：

最后在ImageSets中的trainval文件中，根據(jù)你自己來(lái)劃分！

2

修改參數(shù)和文件

 prototxt配置文件

models/pascal_voc/ZF/faster_rcnn_alt_opt文件夾下的5個(gè)文件，分別為：stage1_rpn_train.pt、stage1_fast_rcnn_train.pt、stage2_rpn_train.pt、stage2_fast_rcnn_train.pt和fast_rcnn_test.pt，修改格式如下：

(1)stage1_fast_rcnn_train.pt和stage2_fast_rcnn_train.pt修改參數(shù)：

num_class:2（識(shí)別1類+背景1類），cls_score中num_output：2，bbox_pred中num_output：8

(2)stage1_rpn_train.pt和stage2_rpn_train.pt修改參數(shù)：

num_class:2（識(shí)別1類+背景1類）

(3)fast_rcnn_test.pt修改參數(shù)：

cls_score中num_output：2，bbox_pred中num_output：8（只有這2個(gè)）

修改lib/datasets/pascal_voc.py

self._classes = ('__background__', # always index 0  'zongzi')（只有這一類）

修改lib/datasets/imdb.py

數(shù)據(jù)整理，在一行代碼為：

boxes[:, 2] = widths[i] - oldx1 - 1  下加入代碼：

 for b in range(len(boxes)):

      if boxes[b][2]< boxes[b][0]:

         boxes[b][0] = 0

修改完pascal_voc.py和imdb.py后進(jìn)入lib/datasets目錄下刪除原來(lái)的pascal_voc.pyc和imdb.pyc文件，重新生成這兩個(gè)文件，因?yàn)檫@兩個(gè)文件是python編譯后的文件，系統(tǒng)會(huì)直接調(diào)用。

終端進(jìn)入lib/datasets文件目錄輸入：

python(此處應(yīng)出現(xiàn)python的版本)

>>>importpy_compile

>>>py_compile.compile(r'imdb.py')

>>>py_compile.compile(r'pascal_voc.py')

3

現(xiàn)在我們開(kāi)始訓(xùn)練自己數(shù)據(jù)

終端進(jìn)入py-faster-rcnn下輸入：

./experiments/scripts/faster_rcnn_alt_opt.sh0 ZF pascal_voc

4

運(yùn)行demo

運(yùn)行demo，即在py-faster-rcnn文件夾下終端輸入：

./tools/demo.py --net zf

其中修改/tools/demo.py為：

(1) CLASSES =('__background__',  'zongzi')

(2) NETS ={'vgg16': ('VGG16', 'VGG16_faster_rcnn_final.caffemodel'),

                     'zf': ('ZF', 'ZF_faster_rcnn_final.caffemodel')}

四、實(shí)驗(yàn)效果

注：有部分目標(biāo)沒(méi)有檢測(cè)出來(lái)，可能是由于目標(biāo)遮擋，重疊造成，所以往后需要我們大家做的就是，怎么去解決實(shí)際生活中遇到的種種問(wèn)題，利用所學(xué)的知識(shí)和自己的創(chuàng)新去改進(jìn)，優(yōu)化！

由于今天是端午假，大家都會(huì)吃粽子，所以今天的目標(biāo)檢測(cè)就是“粽子”，通過(guò)各種渠道得到粽子的訓(xùn)練和測(cè)試數(shù)據(jù)集，最后得到如下部分的結(jié)果可視化圖。