SSD7-FFAM | 對(duì)嵌入式友好的目標(biāo)檢測(cè)網(wǎng)絡(luò)

對(duì)計(jì)算和內(nèi)存的高需求是將現(xiàn)有目標(biāo)檢測(cè)網(wǎng)絡(luò)部署到嵌入式設(shè)備中的最大挑戰(zhàn)。現(xiàn)有的輕量級(jí)目標(biāo)檢測(cè)器直接使用輕量級(jí)神經(jīng)網(wǎng)絡(luò)架構(gòu)，如MobileNet或在大尺度分類數(shù)據(jù)集上預(yù)先訓(xùn)練，導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)靈活性差，不適用于某些特定場(chǎng)景。

在今天分享中，有研究者提出了一種輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)Single-Shot MultiBox Detector(SSD)7種特征融合和注意機(jī)制(FFAM)，該網(wǎng)絡(luò)通過(guò)減少卷積層數(shù)，節(jié)省了存儲(chǔ)空間，減少了計(jì)算量。研究者有提出了一種新的特征融合和注意機(jī)制(FFAM)方法來(lái)提高檢測(cè)精度。首先，F(xiàn)FAM方法將高級(jí)語(yǔ)義信息豐富的特征圖與低級(jí)特征圖進(jìn)行融合，提高了小目標(biāo)的檢測(cè)精度。采用由通道和空間注意模塊級(jí)聯(lián)的輕量級(jí)注意機(jī)制，增強(qiáng)目標(biāo)的上下文信息，引導(dǎo)網(wǎng)絡(luò)關(guān)注其易于識(shí)別的特征。

在NWPU VHR-10數(shù)據(jù)集上，SSD7-FFAM實(shí)現(xiàn)了83.7%的mAP、1.66MB參數(shù)和0.033s的平均運(yùn)行時(shí)間。結(jié)果表明，該SSD7-FFAM更適合于部署到嵌入式設(shè)備上進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)。

如果這種技術(shù)應(yīng)用在現(xiàn)在的幼兒園，再和行為識(shí)別共同作用，是不是就可以保障小孩子的安全及行跡跟蹤。

二、背景及動(dòng)機(jī)

近年來(lái)，對(duì)可應(yīng)用于嵌入式設(shè)備的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)的研究吸引了越來(lái)越多的研究者。不同的人工設(shè)計(jì)的輕量級(jí)神經(jīng)網(wǎng)絡(luò)架構(gòu)已被用于目標(biāo)檢測(cè)，如谷歌提出的輕量級(jí)網(wǎng)絡(luò)架構(gòu)MobileNet，它使用深度可分離卷積而不是標(biāo)準(zhǔn)卷積。Face++通過(guò)逐點(diǎn)群卷積核信道變換技術(shù)，提出了ShuffleNet。

由Iandola等人介紹的SqueezeNet，它由兩個(gè)部分組成，一個(gè)壓縮層（壓縮)和一個(gè)膨脹層（膨脹），通過(guò)減少壓縮層中的通道數(shù)，減少了整個(gè)模型所需的計(jì)算量。AF-SSD應(yīng)用了MobileNetV2和額外的卷積層，以ShuffleNetV2和深度可分離卷積作為輕量級(jí)主干。實(shí)驗(yàn)結(jié)果表明，AF-SSD是一種快速、準(zhǔn)確、參數(shù)較少的檢測(cè)器。許多其他研究表明，使用這些輕量級(jí)網(wǎng)絡(luò)作為主干的目標(biāo)探測(cè)器取得了最先進(jìn)的結(jié)果。然而，這些輕量級(jí)網(wǎng)絡(luò)在使用它們作為目標(biāo)檢測(cè)的主干網(wǎng)絡(luò)之前，需要在通用數(shù)據(jù)集如ImageNet上進(jìn)行預(yù)訓(xùn)練。預(yù)訓(xùn)練通常在一般圖像分類任務(wù)的數(shù)據(jù)集上進(jìn)行，因此很難將它們移植到特定的應(yīng)用場(chǎng)景中，如醫(yī)學(xué)圖像檢測(cè)。同時(shí)，這些預(yù)訓(xùn)練的網(wǎng)絡(luò)模型具有大量的參數(shù)和固定的結(jié)構(gòu)，使得難以優(yōu)化。

• Single-Shot MultiBox Detector 

Single-Stage Detectors代表之一——SSD

yolo我們“計(jì)算機(jī)視覺(jué)研究院”已經(jīng)分享了很多，如

• Deep Feature Fusion

特征融合就有很多類似的案例，我們今天就不專門講解了！

三、新框架

• Specific Structure of SSD7-FFAM

上圖就描述了提出的SSD7-FFAM的具體結(jié)構(gòu)。在SSD中，由VGG提取的特征圖和附加卷積層分別用于目標(biāo)的定位和分類。然而，初始的淺層特征圖缺乏重要的語(yǔ)義信息，這個(gè)問(wèn)題導(dǎo)致檢測(cè)精度低于兩級(jí)檢測(cè)器。因此，SSD不利于對(duì)小物體的檢測(cè)。

與SSD7不同的是，所提出的SSD7-FFAM采用了兩個(gè)新的模塊：特征融合模塊和基于SSD7的注意模塊，以彌補(bǔ)由于卷積層的下降所導(dǎo)致的檢測(cè)精度的降低。特征融合模塊將兩個(gè)不同尺度的特征圖組合成轉(zhuǎn)換后的新的特征圖。該模塊增強(qiáng)了淺層特征圖的語(yǔ)義信息。注意模塊是一個(gè)結(jié)合了通道注意和空間注意的輕量級(jí)模塊。它顯著地提高了網(wǎng)絡(luò)性能，同時(shí)提供了少量的計(jì)算和參數(shù)。

• Feature Fusion Module

上圖顯示了SSD7-FFAM中使用的特征融合模塊結(jié)構(gòu)示例。新的Conv4特征圖與其他兩個(gè)特征圖一起傳遞到注意模塊。

• Attention Module

   Channel Attention Module

    Spatial Attention Module

[Paying more attention to attention: Improving the performance of convolutional neural networks via attention transfer. In Proceedings of the ICLR 2017]的作者指出，通道維度中的合并操作可以突出顯示特征圖的信息區(qū)域。在通道注意模塊之后，研究者引入了一個(gè)空間注意模塊，以關(guān)注特征有意義的地方。

與信道注意類似，鑒于信道注意模塊之后的特征圖F0，空間注意模塊首先執(zhí)行信道尺寸的平均池化和最大池化，以獲得兩個(gè)H×W×1信道特征，并根據(jù)信道將這兩個(gè)特征縫合在一起。然后，在7×7卷積層后得到權(quán)重系數(shù)MS，激活函數(shù)為sigmoid?？臻g注意模塊如上圖b所示，計(jì)算結(jié)果為：

四、實(shí)驗(yàn)及分析

在NWPU VHR-10數(shù)據(jù)集上的測(cè)試結(jié)果

For each pair, the left (a,c,e) is the original image and right (b,d,f) is the result of the SSD7-FFAM. Each color corresponds to an object category in that image.

在VOC數(shù)據(jù)上的結(jié)果，如下表：

不同平均運(yùn)行時(shí)間：