CVPR21小目標檢測：上下文和注意力機制提升小目標檢測

發(fā)布人：CV研究院時間：2022-04-14 來源：工程師

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

CVPR21文章我們也分享了很多最佳的框架，在現(xiàn)實場景中，目標檢測依然是最基礎(chǔ)最熱門的研究課題，尤其目前針對小目標的檢測，更加吸引了更多的研究員和企業(yè)去研究，今天我們“計算機視覺研究院”給大家分享一個小目標檢測精度提升較大的新框架！

論文：

https://arxiv.org/pdf/1912.06319.pdf

1簡要

在各種環(huán)境中應(yīng)用目標檢測算法有很多局限性。特別是檢測小目標仍然具有挑戰(zhàn)性，因為它們分辨率低，信息有限。

有研究員提出了一種利用上下文的目標檢測方法來提高檢測小目標的精度。該方法通過連接多尺度特征，使用了來自不同層的附加特征作為上下文。研究員還提出了具有注意機制的目標檢測，它可以關(guān)注圖像中的目標，并可以包括來自目標層的上下文信息。實驗結(jié)果表明，該方法在檢測小目標方面的精度高于傳統(tǒng)的SSD框架。

2 背景

下圖顯示了SSD框架無法檢測到小目標時的案例情況。對小目標的檢測還有很大的改進空間。

由于低分辨率低，像素有限，小目標檢測很困難。例如，通過只看下圖上的目標，人類甚至很難識別這些物體。然而，通過考慮到它位于天空中的背景，這個物體可以被識別為鳥類。因此，我們認為，解決這個問題的關(guān)鍵取決于我們?nèi)绾螌⑸舷挛淖鳛轭~外信息來幫助檢測小目標。

3 新框架分析

新框架將從基線SSD開始討論，然后是研究者提出的提高小目標檢測精度的組件。首先，SSD與特征融合，以獲取上下文信息，名為F-SSD；第二，帶有保留模塊的SSD，使網(wǎng)絡(luò)能夠關(guān)注重要部件，名為A-SSD；第三，研究者結(jié)合了特征融合和注意力模塊，名為FA-SSD。

F-SSD: SSD with context by feature fusion

為了為給定的特征圖（目標特征圖)在我們想要檢測目標的位置提供上下文，研究者將其與目標特征層更高層次的特征圖(上下文特征）融合。例如，在SSD中，給定我們來自conv4_3的目標特性，我們的上下文特征來自兩層，它們是conv7和conv8_2。

雖然新框架的特征融合可以推廣到任何目標特征和任何更高的特征。然而，這些特征圖具有不同的空間大小，因此研究者提出了如上圖所示的融合方法。在通過連接特征進行融合之前，對上下文特征執(zhí)行反卷積，使它們具有與目標特征相同的空間大小。將上下文特征通道設(shè)置為目標特征的一半，因此上下文信息的數(shù)量就不會超過目標特征本身。僅僅對于F-SSD，研究者還在目標特征上增加了一個額外的卷積層，它不會改變空間大小和通道數(shù)的卷積層。

此外，在連接特征之前，標準化步驟是非常重要的，因為不同層中的每個特征值都有不同的尺度。因此，在每一層之后進行批處理歸一化和ReLU。最后通過疊加特征來連接目標特征和上下文特征。

A-SSD: SSD with attention module

如上圖，它由一個trunk分支和一個mask分支組成。trunk分支有兩個殘差塊，每個塊有3個卷積層，如上圖d所示；mask分支通過使用殘差連接執(zhí)行下采樣和上采樣來輸出注意圖（圖b為第一階段和圖c為第二階段)，然后完成sigmoid激活。殘差連接使保持下采樣階段的特征。然后，來自mask分支的注意映射與trunk分支的輸出相乘，產(chǎn)生已參與的特征。最后，參與的特征之后是另一個殘差塊，L2標準化，和ReLU。

FA-SSD: Combining feature fusion and atten- tion in SSD

研究者提出了以上的兩個特征的方法，它可以考慮來自目標層和不同層的上下文信息。與F-SSD相比，研究者沒有在目標特征上執(zhí)行一個卷積層，而是放置了one stage的注意模塊，如下圖所示。