雙尺度殘差檢測(cè)器：無(wú)先驗(yàn)檢測(cè)框進(jìn)行目標(biāo)檢測(cè)

論文地址：https://arxiv.org/pdf/1904.06883.pdf

Dubox增強(qiáng)了啟發(fā)式引導(dǎo)的能力，進(jìn)一步使第一尺度探測(cè)器能夠最大限度地檢測(cè)小目標(biāo)，第二尺度探測(cè)器能夠檢測(cè)第一尺度探測(cè)器無(wú)法識(shí)別的目標(biāo)。今天給大家分享的文章可能會(huì)優(yōu)點(diǎn)舊，但是我覺得整體是一個(gè)不錯(cuò)的ideal！

一、背景

長(zhǎng)期以來(lái)，目標(biāo)檢測(cè)一直是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)具有挑戰(zhàn)性的問(wèn)題。隨著深度神經(jīng)網(wǎng)絡(luò)（DNN）的發(fā)展，近年來(lái)在目標(biāo)檢測(cè)方面取得了重大進(jìn)展。它是各種工業(yè)應(yīng)用的先決條件，例如自動(dòng)駕駛和面部分析。由于深度卷積神經(jīng)網(wǎng)絡(luò)和標(biāo)注良好的數(shù)據(jù)集的進(jìn)步，目標(biāo)檢測(cè)器的性能得到了顯著提高。

現(xiàn)實(shí)世界中的圖像包含不同比例的對(duì)象。尺度變化已成為目標(biāo)檢測(cè)領(lǐng)域的一個(gè)具有挑戰(zhàn)性的問(wèn)題。為了實(shí)現(xiàn)尺度不變性，最先進(jìn)的方法通常結(jié)合多個(gè)層次的特征來(lái)構(gòu)建特征金字塔或多層特征塔。同時(shí)，為了提高檢測(cè)性能，多尺度方法在不同尺度上并行使用多個(gè)檢測(cè)器。例如，RetinaNet有五個(gè)尺度檢測(cè)器（p3-p7），它們?cè)谔卣鹘鹱炙Y(jié)構(gòu)上并行檢測(cè)。YOLOv5在主網(wǎng)上運(yùn)行了三個(gè)檢測(cè)器。

此外，prior box被認(rèn)為是處理尺度不變性的有效手段。它是許多檢測(cè)器的基礎(chǔ)，例如Faster RCNN和YOLOv2中的錨點(diǎn)，SSD中的默認(rèn)框。先驗(yàn)框是一堆具有預(yù)定義大小和縱橫比的框，它們以滑動(dòng)窗口的方式平鋪特征圖，作為檢測(cè)候選。先驗(yàn)框離散化可能的輸出邊界框形狀的空間，DNN基于特定的先驗(yàn)框利用先驗(yàn)信息對(duì)邊界框進(jìn)行回歸。多尺度檢測(cè)和先驗(yàn)框的混合是最先進(jìn)的檢測(cè)器中的常見做法，它利用了多尺度特征和預(yù)先計(jì)算的邊界框統(tǒng)計(jì)數(shù)據(jù)。

二、前言

傳統(tǒng)的目標(biāo)檢測(cè)方法使用多尺度特征，允許多個(gè)檢測(cè)器獨(dú)立并行地執(zhí)行檢測(cè)任務(wù)。同時(shí)，通過(guò)對(duì)prior box的處理，增強(qiáng)了算法處理尺度不變性的能力。然而，太多的先驗(yàn)框和獨(dú)立的檢測(cè)器會(huì)增加檢測(cè)算法的計(jì)算冗余。

Some comparisons with the precision and speed to clas- sical algorithms on VOC07, ▽ is two-stage method，    ? denote the one-stage algorithm, □is Dubox.

今天這項(xiàng)研究中，研究者介紹了Dubox，這是一種新的單階段方法，可以在沒有先驗(yàn)框的情況下檢測(cè)目標(biāo)。使用多尺度特征，設(shè)計(jì)的雙尺度殘差單元使雙尺度檢測(cè)器不再獨(dú)立運(yùn)行。第二個(gè)尺度檢測(cè)器學(xué)習(xí)第一個(gè)的殘差。Dubox增強(qiáng)了啟發(fā)式引導(dǎo)的能力，可以進(jìn)一步使第一尺度檢測(cè)器能夠最大限度地檢測(cè)小目標(biāo)，第二尺度檢測(cè)器能夠檢測(cè)第一個(gè)無(wú)法識(shí)別的對(duì)象。此外，對(duì)于每個(gè)尺度檢測(cè)器，新的classification-regression progressive strap loss（CRPS）使整個(gè)的過(guò)程不再基于先驗(yàn)框。整合這些策略，新提出的檢測(cè)算法在速度和準(zhǔn)確性方面取得了出色的表現(xiàn)。在VOC、COCO目標(biāo)檢測(cè)基準(zhǔn)上的大量實(shí)驗(yàn)證實(shí)了該算法的有效性。

三、新框架

No-prior Box Detection

Dubox是一個(gè)單一的神經(jīng)網(wǎng)絡(luò)，統(tǒng)一了目標(biāo)檢測(cè)的所有必要組件。檢測(cè)器設(shè)計(jì)支持端到端訓(xùn)練和實(shí)時(shí)推理，同時(shí)保持高平均精度。

新的網(wǎng)絡(luò)將整個(gè)圖像作為輸入，并以s倍的下采樣級(jí)別預(yù)測(cè)結(jié)果特征圖。假設(shè)輸出map大小為(h,w)，將輸出中的位置(i,j)定義為hook，其中i∈[0,w)和j∈[0,h)。Dubox在輸出特征的每個(gè)hook處預(yù)測(cè)每個(gè)邊界框及其所有類別的置信度，如下圖所示。

如上圖所示是正樣本和負(fù)樣本GT設(shè)置，DuBox使用固定鉤(i，j)將bbox的預(yù)測(cè)和分類結(jié)合起來(lái)。藍(lán)色的點(diǎn)是positive的hook，其他的是negative。不再像DenseBox那樣直接在中心點(diǎn)畫圓框了，而是根據(jù)以下公式進(jìn)行正樣本的定義：

P是用于調(diào)整范圍的預(yù)定義值。

Residual Dual Scale Detectors

雙尺度殘差單元是基于共享特征提取主干的子結(jié)構(gòu)。殘差雙尺度檢測(cè)器通過(guò)共享 VGG-16、ResNet等特征提取網(wǎng)絡(luò)來(lái)組合不同級(jí)別檢測(cè)器的特征。殘差單元的結(jié)構(gòu)包含兩個(gè)檢測(cè)器，其中高級(jí)檢測(cè)器將學(xué)習(xí)在低級(jí)檢測(cè)器中找到的回歸框的殘差。詳細(xì)結(jié)構(gòu)如下圖所示。

雙尺度的冗余策略：

Differentiate positive range：設(shè)計(jì)檢測(cè)器1中的p為10，檢測(cè)器2中的p為9。同時(shí)，向檢測(cè)器1的正范圍添加一個(gè)約束 => r=arg min(r, 3)。該方法確保了大目標(biāo)正樣本掛鉤的數(shù)量受到限制，并且提高了低級(jí)別檢測(cè)小目標(biāo)的性能。

Differentiate scale weight：物體的目標(biāo)邊界框在原始圖像中占據(jù)的區(qū)域大于0.3，則檢測(cè)器1的回歸將忽略該目標(biāo)對(duì)象。（讓大目標(biāo)給檢測(cè)器2來(lái)檢測(cè)，檢測(cè)器1只負(fù)責(zé)檢測(cè)小目標(biāo)）

Bbox Bridge Module

Bbox（邊界框）橋模塊將低級(jí)檢測(cè)器和高級(jí)檢測(cè)器的回歸連接起來(lái)，從而使高級(jí)別回歸基于低級(jí)殘差。

Classification-Regression Progressive Strapped Loss

在基于錨的方法中，借助先驗(yàn)框，檢測(cè)器具有框形狀的先驗(yàn)知識(shí)。它通過(guò)調(diào)整預(yù)定義的錨形狀來(lái)執(zhí)行其預(yù)測(cè)，從而提高它們對(duì)周圍錨的擬合能力。Dubox沒有任何先前的盒子形狀，研究者必須設(shè)計(jì)一個(gè)更強(qiáng)的分類和回歸策略，主要是損失函數(shù)。

基于這一觀察，研究者通過(guò)IoU重建classification loss progressive strap ：

四、實(shí)驗(yàn)

The performance of dual branch on VOC2007 dataset (512 × 512)

Comparison with state-of-the-art detectors on VOC 2007 and 2012

Comparison with state-of-the-art detectors on MS COCO test-dev