利用TRansformer進(jìn)行端到端的目標(biāo)檢測(cè)及跟蹤

現(xiàn)存的用檢測(cè)跟蹤的方法采用簡(jiǎn)單的heuristics，如空間或外觀相似性。這些方法，盡管其共性，但過(guò)于簡(jiǎn)單，不足以建模復(fù)雜的變化，如通過(guò)遮擋跟蹤。

1簡(jiǎn)要

多目標(biāo)跟蹤(MOT)任務(wù)的關(guān)鍵挑戰(zhàn)是跟蹤目標(biāo)下的時(shí)間建?！，F(xiàn)存的用檢測(cè)跟蹤的方法采用簡(jiǎn)單的heuristics，如空間或外觀相似性。這些方法，盡管其共性，但過(guò)于簡(jiǎn)單，不足以建模復(fù)雜的變化，如通過(guò)遮擋跟蹤。所以現(xiàn)有的方法缺乏從數(shù)據(jù)中學(xué)習(xí)時(shí)間變化的能力。

在今天分享中，研究者提出了第一個(gè)完全端到端多目標(biāo)跟蹤框架MOTR。它學(xué)習(xí)了模擬目標(biāo)的長(zhǎng)距離時(shí)間變化。它隱式地執(zhí)行時(shí)間關(guān)聯(lián)，并避免了以前的顯式啟發(fā)式方法。MOTR建立在TRansformer和DETR之上，引入了“跟蹤查詢(xún)”的概念。每個(gè)跟蹤查詢(xún)都會(huì)模擬一個(gè)目標(biāo)的整個(gè)跟蹤。逐幀傳輸和更新，以無(wú)縫地執(zhí)行目標(biāo)檢測(cè)和跟蹤。提出了時(shí)間聚合網(wǎng)絡(luò)（Temporal aggregation network）結(jié)合多框架訓(xùn)練來(lái)建模長(zhǎng)期時(shí)間關(guān)系。實(shí)驗(yàn)結(jié)果表明，MOTR達(dá)到了最先進(jìn)的性能。

2 簡(jiǎn)單背景

多目標(biāo)跟蹤(MOT)是一種視覺(jué)目標(biāo)檢測(cè)，其任務(wù)不僅是定位每一幀中的所有目標(biāo)，而且還可以預(yù)測(cè)這些目標(biāo)在整個(gè)視頻序列中的運(yùn)動(dòng)軌跡。這個(gè)問(wèn)題具有挑戰(zhàn)性，因?yàn)槊恳粠械哪繕?biāo)可能會(huì)在pool environment中被遮擋，而開(kāi)發(fā)的跟蹤器可能會(huì)受到長(zhǎng)期和低速率跟蹤的影響。這些復(fù)雜而多樣的跟蹤方案在設(shè)計(jì)MOT解決方案時(shí)帶來(lái)了重大挑戰(zhàn)。

對(duì)于基于IoU的方法，計(jì)算從兩個(gè)相鄰幀檢測(cè)到的檢測(cè)框的IoU矩陣，重疊高于給定閾值的邊界框與相同的身份相關(guān)聯(lián)(見(jiàn)上圖(a))。類(lèi)似地，基于Re-ID的方法計(jì)算相鄰幀的特征相似性，并將目標(biāo)對(duì)與高相似性相關(guān)起來(lái)。此外，最近的一些工作還嘗試了目標(biāo)檢測(cè)和重識(shí)別特征學(xué)習(xí)的聯(lián)合訓(xùn)練(見(jiàn)上圖(b))。

由于DETR的巨大成功，這項(xiàng)工作將“目標(biāo)查詢(xún)”的概念擴(kuò)展到目標(biāo)跟蹤模型，在新框架中被稱(chēng)為跟蹤查詢(xún)。每個(gè)跟蹤查詢(xún)都負(fù)責(zé)預(yù)測(cè)一個(gè)目標(biāo)的整個(gè)跟蹤。如上圖(c)，與分類(lèi)和框回歸分支并行，MOTR預(yù)測(cè)每一幀的跟蹤查詢(xún)集。

3 新框架分析

最近，DETR通過(guò)采用TRansformer成功地進(jìn)行了目標(biāo)檢測(cè)。在DETR中，目標(biāo)查詢(xún)，一個(gè)固定數(shù)量的學(xué)習(xí)位置嵌入，表示一些可能的實(shí)例的建議。一個(gè)目標(biāo)查詢(xún)只對(duì)應(yīng)于一個(gè)使用bipartite matching的對(duì)象?？紤]到DETR中存在的高復(fù)雜性和慢收斂問(wèn)題，Deformable DETR用多尺度deformable attention取代了self-attention。為了展示目標(biāo)查詢(xún)?nèi)绾瓮ㄟ^(guò)****與特征交互，研究者重新制定了Deformable DETR的****。

MOTR

在MOTR中，研究者引入了跟蹤查詢(xún)和連續(xù)查詢(xún)傳遞，以完全端到端的方式執(zhí)行跟蹤預(yù)測(cè)。進(jìn)一步提出了時(shí)間聚合網(wǎng)絡(luò)來(lái)增強(qiáng)多幀的時(shí)間信息。

DETR中引入的目標(biāo)（檢測(cè)）查詢(xún)不負(fù)責(zé)對(duì)特定目標(biāo)的預(yù)測(cè)。因此，一個(gè)目標(biāo)查詢(xún)可以隨著輸入圖像的變化而預(yù)測(cè)不同的目標(biāo)。當(dāng)在MOT數(shù)據(jù)集的示例上使用DETR檢測(cè)器時(shí)，如上圖(a)，相同檢測(cè)查詢(xún)（綠色目標(biāo)查詢(xún)）預(yù)測(cè)兩個(gè)不同幀預(yù)測(cè)兩個(gè)不同的目標(biāo)。因此，很難通過(guò)目標(biāo)查詢(xún)的身份來(lái)將檢測(cè)預(yù)測(cè)作為跟蹤值聯(lián)系起來(lái)。作為一種補(bǔ)救措施，研究者將目標(biāo)查詢(xún)擴(kuò)展到目標(biāo)跟蹤模型，即跟蹤查詢(xún)。在新的設(shè)計(jì)中，每個(gè)軌跡查詢(xún)都負(fù)責(zé)預(yù)測(cè)一個(gè)目標(biāo)的整個(gè)軌跡。一旦跟蹤查詢(xún)與幀中的一個(gè)目標(biāo)匹配，它總是預(yù)測(cè)目標(biāo)，直到目標(biāo)消失（見(jiàn)上圖(b))。

Overall architecture of the proposed MOTR

Query Interaction Module

在訓(xùn)練階段，可以基于對(duì)bipartite matching的GTs的監(jiān)督來(lái)實(shí)現(xiàn)跟蹤查詢(xún)的學(xué)習(xí)。而對(duì)于推斷，研究者使用預(yù)測(cè)的軌跡分?jǐn)?shù)來(lái)確定軌道何時(shí)出現(xiàn)和消失。

Overall Optimization

我們?cè)敿?xì)描述下MOTR的訓(xùn)練過(guò)程。給定一個(gè)視頻序列作為輸入，訓(xùn)練損失，即track loss，是逐幀計(jì)算和逐幀生成的預(yù)測(cè)?？倀rack loss是由訓(xùn)練樣本上的所有GT的數(shù)量歸一化的所有幀的track loss的總和：

單幀圖像Lt的track loss可表示為：

4 實(shí)驗(yàn)

Implementation Details

All the experiments are conducted on PyTorch with 8 Tesla V100 GPUs. We use the Deformable-DETR with ResNet50 as our basic network. The basic network is pretrained on the COCO detection dataset. We train our model with the AdamW optimizer for total 200 epochs with the initial learning rate of 2.0 · 10?4. The learning rate decays to 2.0 · 10?5 at 150 epochs. The batch size is set to 1 and each batch contains 5 frames.

The effect of multi-frame continuous query passing on solving ID switch problem. When the length of video sequence is set to two (top), the objects that are occluded will miss and switch the identity. When improving the video sequence length from two to five (bottom), the track will not occur the ID switch problem with the help of enhanced temporal relation.

? THE END