CVPR2022：使用完全交叉Transformer的小樣本目標(biāo)檢測(cè)

論文地址：

https://openaccess.thecvf.com/content/CVPR2022/papers/Han_Few-Shot_Object_Detection_With_Fully_Cross-Transformer_CVPR_2022_paper.pdf

01

概述

02

背景

03

新框架

Task Definition

在小樣本目標(biāo)檢測(cè)（FSOD）中，有兩組類C=Cbase∪Cnovel和Cbase∩Cnovel=?，其中基類Cbase每個(gè)類都有大量訓(xùn)練數(shù)據(jù)，而新類Cnovel（也稱為支持類）只有每個(gè)類的訓(xùn)練示例很少（也稱為支持圖像）。對(duì)于K-shot（例如，K=1,5,10）目標(biāo)檢測(cè)，研究者為每個(gè)新類別c∈Cnovel準(zhǔn)確地使用K個(gè)邊界框注釋作為訓(xùn)練數(shù)據(jù)。FSOD的目標(biāo)是利用數(shù)據(jù)豐富的基類來協(xié)助檢測(cè)少樣本的新類。

Overview of Our Proposed Model (FCT)

研究者認(rèn)為以往的two-branch方法只關(guān)注了detection head部分的特征交互，忽略了特征提取部分；于是這篇論文的motivation就出來了。因此研究者在Faster RCNN上提出了Fully Cross-Transformer(FCT)的小樣本檢測(cè)方法，在每個(gè)階段都進(jìn)行特征交互。如下圖所示：

The Cross-Transformer Feature Backbone

在cross-transformer中計(jì)算Q-K-V attention時(shí)為了減少計(jì)算量，研究者采用了PVTv2的方式。上面大致介紹了query和support特征提取，在特征交互上作者提出了 Asymmetric-Batched Cross-Attention。具體做法如下圖和公式所示：

評(píng)論。研究者徹底研究了提出的模型中兩個(gè)視覺分支之間的多層次交互。cross-transformer特征主干中的三個(gè)階段使兩個(gè)分支與低級(jí)、中級(jí)和高級(jí)視覺特征逐漸有效交互。

The Cross-Transformer Detection Head

在detection head部分，和以上操作相反，在每張query上提取完proposal之后經(jīng)過ROI Align可以得到ROI特征fp∈RBp?H′?W′?C3，其中Bp=100，為了減少計(jì)算復(fù)雜度還是對(duì)support進(jìn)行ave操作fs′=1Bs∑Bsfs，fs′∈R1?H′?W′?C3，然后使用Asymmetric-Batched Cross-Attention計(jì)算倆分支attention，不同的是，query分支Bp≥1 and Bs′=1 。

04

實(shí)驗(yàn)

從上面表格的(c-d)倆行可以看出，使用三階段訓(xùn)練在2-shot、10-shot上均有提升。