利用TRansformer進(jìn)行端到端的目標(biāo)檢測及跟蹤

現(xiàn)存的用檢測跟蹤的方法采用簡單的heuristics，如空間或外觀相似性。這些方法，盡管其共性，但過于簡單，不足以建模復(fù)雜的變化，如通過遮擋跟蹤。

1簡要

多目標(biāo)跟蹤(MOT)任務(wù)的關(guān)鍵挑戰(zhàn)是跟蹤目標(biāo)下的時間建?！，F(xiàn)存的用檢測跟蹤的方法采用簡單的heuristics，如空間或外觀相似性。這些方法，盡管其共性，但過于簡單，不足以建模復(fù)雜的變化，如通過遮擋跟蹤。所以現(xiàn)有的方法缺乏從數(shù)據(jù)中學(xué)習(xí)時間變化的能力。

在今天分享中，研究者提出了第一個完全端到端多目標(biāo)跟蹤框架MOTR。它學(xué)習(xí)了模擬目標(biāo)的長距離時間變化。它隱式地執(zhí)行時間關(guān)聯(lián)，并避免了以前的顯式啟發(fā)式方法。MOTR建立在TRansformer和DETR之上，引入了“跟蹤查詢”的概念。每個跟蹤查詢都會模擬一個目標(biāo)的整個跟蹤。逐幀傳輸和更新，以無縫地執(zhí)行目標(biāo)檢測和跟蹤。提出了時間聚合網(wǎng)絡(luò)（Temporal aggregation network）結(jié)合多框架訓(xùn)練來建模長期時間關(guān)系。實驗結(jié)果表明，MOTR達(dá)到了最先進(jìn)的性能。

2 簡單背景

多目標(biāo)跟蹤(MOT)是一種視覺目標(biāo)檢測，其任務(wù)不僅是定位每一幀中的所有目標(biāo)，而且還可以預(yù)測這些目標(biāo)在整個視頻序列中的運動軌跡。這個問題具有挑戰(zhàn)性，因為每一幀中的目標(biāo)可能會在pool environment中被遮擋，而開發(fā)的跟蹤器可能會受到長期和低速率跟蹤的影響。這些復(fù)雜而多樣的跟蹤方案在設(shè)計MOT解決方案時帶來了重大挑戰(zhàn)。

對于基于IoU的方法，計算從兩個相鄰幀檢測到的檢測框的IoU矩陣，重疊高于給定閾值的邊界框與相同的身份相關(guān)聯(lián)(見上圖(a))。類似地，基于Re-ID的方法計算相鄰幀的特征相似性，并將目標(biāo)對與高相似性相關(guān)起來。此外，最近的一些工作還嘗試了目標(biāo)檢測和重識別特征學(xué)習(xí)的聯(lián)合訓(xùn)練(見上圖(b))。

由于DETR的巨大成功，這項工作將“目標(biāo)查詢”的概念擴展到目標(biāo)跟蹤模型，在新框架中被稱為跟蹤查詢。每個跟蹤查詢都負(fù)責(zé)預(yù)測一個目標(biāo)的整個跟蹤。如上圖(c)，與分類和框回歸分支并行，MOTR預(yù)測每一幀的跟蹤查詢集。

3 新框架分析

最近，DETR通過采用TRansformer成功地進(jìn)行了目標(biāo)檢測。在DETR中，目標(biāo)查詢，一個固定數(shù)量的學(xué)習(xí)位置嵌入，表示一些可能的實例的建議。一個目標(biāo)查詢只對應(yīng)于一個使用bipartite matching的對象。考慮到DETR中存在的高復(fù)雜性和慢收斂問題，Deformable DETR用多尺度deformable attention取代了self-attention。為了展示目標(biāo)查詢?nèi)绾瓮ㄟ^****與特征交互，研究者重新制定了Deformable DETR的****。

MOTR

在MOTR中，研究者引入了跟蹤查詢和連續(xù)查詢傳遞，以完全端到端的方式執(zhí)行跟蹤預(yù)測。進(jìn)一步提出了時間聚合網(wǎng)絡(luò)來增強多幀的時間信息。

DETR中引入的目標(biāo)（檢測）查詢不負(fù)責(zé)對特定目標(biāo)的預(yù)測。因此，一個目標(biāo)查詢可以隨著輸入圖像的變化而預(yù)測不同的目標(biāo)。當(dāng)在MOT數(shù)據(jù)集的示例上使用DETR檢測器時，如上圖(a)，相同檢測查詢（綠色目標(biāo)查詢）預(yù)測兩個不同幀預(yù)測兩個不同的目標(biāo)。因此，很難通過目標(biāo)查詢的身份來將檢測預(yù)測作為跟蹤值聯(lián)系起來。作為一種補救措施，研究者將目標(biāo)查詢擴展到目標(biāo)跟蹤模型，即跟蹤查詢。在新的設(shè)計中，每個軌跡查詢都負(fù)責(zé)預(yù)測一個目標(biāo)的整個軌跡。一旦跟蹤查詢與幀中的一個目標(biāo)匹配，它總是預(yù)測目標(biāo)，直到目標(biāo)消失（見上圖(b))。

Overall architecture of the proposed MOTR

Query Interaction Module

在訓(xùn)練階段，可以基于對bipartite matching的GTs的監(jiān)督來實現(xiàn)跟蹤查詢的學(xué)習(xí)。而對于推斷，研究者使用預(yù)測的軌跡分?jǐn)?shù)來確定軌道何時出現(xiàn)和消失。

Overall Optimization

我們詳細(xì)描述下MOTR的訓(xùn)練過程。給定一個視頻序列作為輸入，訓(xùn)練損失，即track loss，是逐幀計算和逐幀生成的預(yù)測?？倀rack loss是由訓(xùn)練樣本上的所有GT的數(shù)量歸一化的所有幀的track loss的總和：

單幀圖像Lt的track loss可表示為：

4 實驗

Implementation Details

All the experiments are conducted on PyTorch with 8 Tesla V100 GPUs. We use the Deformable-DETR with ResNet50 as our basic network. The basic network is pretrained on the COCO detection dataset. We train our model with the AdamW optimizer for total 200 epochs with the initial learning rate of 2.0 · 10?4. The learning rate decays to 2.0 · 10?5 at 150 epochs. The batch size is set to 1 and each batch contains 5 frames.

The effect of multi-frame continuous query passing on solving ID switch problem. When the length of video sequence is set to two (top), the objects that are occluded will miss and switch the identity. When improving the video sequence length from two to five (bottom), the track will not occur the ID switch problem with the help of enhanced temporal relation.

? THE END