SSFENet | 增強(qiáng)空間和語(yǔ)義特征用于目標(biāo)檢測(cè)

簡(jiǎn)要

目前最先進(jìn)的目標(biāo)檢測(cè)器通常使用預(yù)先訓(xùn)練好的分類(lèi)網(wǎng)絡(luò)來(lái)提取特征，然后利用特征金字塔來(lái)檢測(cè)不同尺度的目標(biāo)。然而，分類(lèi)網(wǎng)絡(luò)更喜歡平移不變性，而忽略了位置信息，因此直接使用提取的特征進(jìn)行融合會(huì)影響性能。

在今天分享中，研究者提出了一個(gè)新的網(wǎng)絡(luò)來(lái)解決這個(gè)困境，即空間和語(yǔ)義特征增強(qiáng)網(wǎng)絡(luò)(SSFENet)。首先，引入了空間特征增強(qiáng)塊來(lái)利用空洞卷積和加權(quán)特征融合來(lái)增強(qiáng)特征中的空間信息。其次，在低級(jí)階段，框架中的語(yǔ)義特征增強(qiáng)塊利用高級(jí)階段的主干網(wǎng)絡(luò)來(lái)獲得具有更豐富語(yǔ)義信息的特征，并且由于使用了共享的卷積層，只引入了很少的計(jì)算成本。在MS-COCO基準(zhǔn)測(cè)試上的實(shí)驗(yàn)結(jié)果表明，該SSFENet顯著提高了常用目標(biāo)探測(cè)器的MAP性能。

2

 簡(jiǎn)單背景介紹

Two-stage：

對(duì)于Two-stage的目標(biāo)檢測(cè)網(wǎng)絡(luò)，主要通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成目標(biāo)檢測(cè)過(guò)程，其提取的是CNN卷積特征，在訓(xùn)練網(wǎng)絡(luò)時(shí)，其主要訓(xùn)練兩個(gè)部分，第一步是訓(xùn)練RPN網(wǎng)絡(luò)，第二步是訓(xùn)練目標(biāo)區(qū)域檢測(cè)的網(wǎng)絡(luò)。網(wǎng)絡(luò)的準(zhǔn)確度高、速度相對(duì)One-stage慢。

One-stage：

直接通過(guò)主干網(wǎng)絡(luò)給出類(lèi)別和位置信息，沒(méi)有使用RPN網(wǎng)路。這樣的算法速度更快，但是精度相對(duì)Two-stage目標(biāo)檢測(cè)網(wǎng)絡(luò)了略低。

目前常用的典型的One-stage目標(biāo)檢測(cè)網(wǎng)絡(luò)

YOLOv1、YOLOv2、YOLOv3

SSD、DSSD等

Retina-Net等

Feature enhancement：

Feature Enhancement Network: A Refined Scene Text Detector

地址: https://arxiv.org/abs/1711.04249

3

 新框架

Spatial Feature Enhancement Block

大多數(shù)最先進(jìn)的目標(biāo)檢測(cè)器都使用預(yù)先訓(xùn)練好的分類(lèi)網(wǎng)絡(luò)來(lái)提取特征。然而，分類(lèi)網(wǎng)絡(luò)在前幾個(gè)卷積層之后進(jìn)行多個(gè)下采樣。此操作將丟失目標(biāo)檢測(cè)所必需的位置信息。直接的解決方案不執(zhí)行下采樣，但這將大大增加內(nèi)存和計(jì)算成本，并且需要重新設(shè)計(jì)主干網(wǎng)絡(luò)。

新出了一種有效的空間特征增強(qiáng)(SpaFE)塊來(lái)擴(kuò)展感受野，并了解不同感受野的重要性，如上圖所示。首先，SpaFE塊采用多分支形式來(lái)提取具有不同感受野的特征，每個(gè)分支都使用具有不同擴(kuò)張率的空洞卷積。其次，SpaFE塊使用元素級(jí)添加而不是連接，這將減少一些計(jì)算開(kāi)銷(xiāo)。此外，由不同感受野提取的特征的重要性是不相同的，即不同分支的輸入對(duì)輸出的貢獻(xiàn)并不平等。為了解決這個(gè)問(wèn)題，研究者為每個(gè)輸入引入了一個(gè)額外的權(quán)重，并讓網(wǎng)絡(luò)了解每個(gè)分支的重要性。研究者使用快速標(biāo)準(zhǔn)化的融合：

Semantic Feature Enhancement Network

研究者將SemFE塊與綜合特征增強(qiáng)(CFE)模塊進(jìn)行了比較。CFE模塊利用多分支和分組卷積來(lái)增強(qiáng)語(yǔ)義信息，需要從頭開(kāi)始進(jìn)行訓(xùn)練。這將增加模型的復(fù)雜性和訓(xùn)練的難度。實(shí)驗(yàn)結(jié)果表明，SpaFE塊的性能優(yōu)于CFE。

SSFENet框架

4

 實(shí)驗(yàn)

 Ablation study of SSFENet. The baseline is FPN Faster RCNN with ResNet-50 and the detection results are evaluated on minival set.

Detection performance of different architectures on MS-COCO minival set. Faster RCNN and Mask RCNN both utilize FPN.