ICCV2021何愷明團(tuán)隊(duì)又一神作：Transformer仍有繼續(xù)改善的空間

一個(gè)簡(jiǎn)單、漸進(jìn)、但必須知道的基線：用于Vision Transformer的自監(jiān)督學(xué)習(xí)。盡管標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)的訓(xùn)練方法已經(jīng)非常成熟且魯棒，然而ViT的訓(xùn)練方案仍有待于構(gòu)建，特別是自監(jiān)督場(chǎng)景下的訓(xùn)練極具挑戰(zhàn)。

1 背景

在今天分享愷明團(tuán)隊(duì)新推出的自監(jiān)督學(xué)習(xí)+Transformer=MoCoV3之前，我想和大家分享下最近我看到一篇目標(biāo)檢測(cè)文章，最近因?yàn)橐恢蓖扑湍繕?biāo)檢測(cè)類的，覺得這篇是個(gè)不錯(cuò)的idea。

什么是開放世界中的目標(biāo)檢測(cè)呢？

A model is tasked to:

在沒有明確的監(jiān)督下，能夠?qū)]有見過的目標(biāo)識(shí)別為“未知”類；

對(duì)于這些認(rèn)定為“未知”的類，當(dāng)逐步獲得對(duì)應(yīng)的標(biāo)簽之后，能夠漸進(jìn)地學(xué)習(xí)它們，且不遺忘以前學(xué)過的那些類別。

這個(gè)與以前提出的Open Set和Open World image classification的最大不同在于：在目標(biāo)檢測(cè)器的訓(xùn)練過程中，將那些未知的目標(biāo)當(dāng)做背景。

深度學(xué)習(xí)加快了目標(biāo)檢測(cè)的研究進(jìn)展，但目前現(xiàn)有方法都在一個(gè)強(qiáng)假設(shè)下進(jìn)行：所有要被檢測(cè)的種類都需要在訓(xùn)練階段提供。當(dāng)我們放寬這一假設(shè)，就會(huì)出現(xiàn)兩個(gè)具有挑戰(zhàn)性的問題：

測(cè)試圖像可能包含未知類的目標(biāo)，這些未知目標(biāo)也需要被歸類；

當(dāng)被識(shí)別為未知類別的標(biāo)簽已經(jīng)可用時(shí)，模型需要進(jìn)一步學(xué)習(xí)新的類別。

2 檢測(cè)框架

論文：https://arxiv.org/pdf/2103.02603.pdf

代碼：https://github.com/JosephKJ/OWOD

第一行：在每個(gè)增量學(xué)習(xí)步驟中，模型識(shí)別未知對(duì)象（用“？”表示），這些對(duì)象被逐步標(biāo)記（藍(lán)色圓圈）并添加到現(xiàn)有知識(shí)庫(kù)（綠色圓圈）中。

第二行：開放世界目標(biāo)檢測(cè)模型使用基于能量的分類頭和未知感知RPN識(shí)別潛在的未知對(duì)象。此外，在特征空間中執(zhí)行對(duì)比學(xué)習(xí)來學(xué)習(xí)判別集群，并且可以以連續(xù)的方式靈活地添加新類而不會(huì)忘記以前的類。

對(duì)比聚類

在隱藏層特征空間上類的區(qū)分性將是實(shí)現(xiàn)類別分離的理想特征。采用對(duì)比性聚類就是為了強(qiáng)制性的達(dá)到上圖第二行中間圖的效果，類內(nèi)差盡量小，而類間差盡量大。每個(gè)已知類別會(huì)維護(hù)一個(gè)向量是檢測(cè)器中間層生成的特征向量，假設(shè)已知類別數(shù)為，則特征向量表征為，其中代表未知類的特征向量。然后再建立一個(gè)用來存儲(chǔ)訓(xùn)練過程中的臨時(shí)特征向量，每個(gè)類的特征向量存在其對(duì)應(yīng)位置。

最后在常規(guī)損失函數(shù)上再疊加一個(gè)對(duì)比聚類損失來達(dá)到強(qiáng)制降低類內(nèi)差，增大類間差的效果。原文中該部分的流程圖如下，其中是不疊加對(duì)比聚類損失的輪數(shù)，用以初始化已知類別的特征向量，表示，在迭代輪數(shù)大于后，每輪都計(jì)算對(duì)比聚類的損失，并每輪進(jìn)行一次特征向量更新(有點(diǎn)像混合高斯背景建模了)：

基于RPN自動(dòng)標(biāo)記機(jī)制

框架的核心就是利用RPN的建議框類別無關(guān)特性，將RPN提取的置信度最高的前K個(gè)背景建議框作為位置對(duì)象的建議框位置向后傳遞。

基于能量的分類頭

首先是基于前面提到的對(duì)比聚類將不同類別的特征表征盡量的拉開了，研究者選擇對(duì)不同類別的概率密度函數(shù)進(jìn)行建模，作為不同類別的區(qū)分，作者用圖進(jìn)行了說明。

如上所示，已知和未知數(shù)據(jù)點(diǎn)的能量值表現(xiàn)出明顯的分離。研究者在每個(gè)樣本上擬合Weibull分布，并使用這些分布來識(shí)別未知的已知和未知樣本。

Alleviating Forgetting

在識(shí)別未知數(shù)之后，開放世界檢測(cè)器的一個(gè)重要要求是能夠?qū)W習(xí)新的類，當(dāng)提供一些感興趣的未知類的標(biāo)記示例時(shí)。重要的是，在此階段將不存在先前任務(wù)的訓(xùn)練數(shù)據(jù)，因?yàn)閺念^開始重新訓(xùn)練不是可行的解決方案。

僅使用新類實(shí)例進(jìn)行訓(xùn)練將導(dǎo)致災(zāi)難性地遺忘之前的類。研究者注意到已經(jīng)開發(fā)了許多涉及的方法來減輕這種遺忘，包括基于參數(shù)正則化的方法，示例重放（exemplar replay），動(dòng)態(tài)擴(kuò)展網(wǎng)絡(luò)（dynamically expanding networks）和元學(xué)習(xí)。

3 檢測(cè)效果分析

僅在任務(wù) 1 上訓(xùn)練的ORE在上圖(a)中成功地將風(fēng)箏定位為未知對(duì)象，而在任務(wù)3中了解風(fēng)箏后，它逐漸學(xué)習(xí)檢測(cè)上圖(b)中的風(fēng)箏和飛機(jī)。

在任務(wù)1上訓(xùn)練后來自O(shè)RE的預(yù)測(cè)?！按笙蟆?、“蘋果”、“香蕉”、“斑馬”和“長(zhǎng)頸鹿”尚未引入模型，因此成功歸類為“未知”。該方法將其中一只“長(zhǎng)頸鹿”錯(cuò)誤分類為“馬”，顯示了ORE的局限性。

有關(guān)對(duì)比聚類的更多詳細(xì)信息

使用對(duì)比聚類來確保潛在空間分離的動(dòng)機(jī)有兩個(gè)：1）它使模型能夠?qū)⑽粗獙?shí)例與已知實(shí)例分開，從而促進(jìn)未知識(shí)別；2）它確保每個(gè)類的實(shí)例與其他類很好地分離，緩解遺忘問題。

對(duì)比損失被添加到Faster R-CNN 損失中，整個(gè)網(wǎng)絡(luò)被端到端的訓(xùn)練。因此，在 Faster R-CNN管道中RoI Head中的殘差塊之前和包括網(wǎng)絡(luò)的所有部分都將使用來自對(duì)比聚類損失的梯度進(jìn)行更新。

在學(xué)習(xí)任務(wù)1后，桌子頂部筆記本電腦旁邊的幾個(gè)項(xiàng)目被識(shí)別為未知。筆記本電腦、書和鼠標(biāo)作為任務(wù)4的一部分被引入。external-storage和walkman（兩者都沒有介紹過）最初被識(shí)別為未知，但學(xué)習(xí)任務(wù)4后沒有被檢測(cè)到，是ORE的失敗案例之一。

最終在任務(wù)2中學(xué)習(xí)到被識(shí)別為未知的手提箱，以及對(duì)椅子的誤報(bào)檢測(cè)。

上圖(a)是ORE學(xué)習(xí)Task 2后產(chǎn)生的結(jié)果。由于沒有引入Task 3類，如apple和Orange，ORE識(shí)別出來并正確標(biāo)注為unknown。在學(xué)習(xí)Task 3之后，這些實(shí)例在上圖(b)中被正確標(biāo)記。一個(gè)未識(shí)別的類實(shí)例仍然存在，ORE成功地將其檢測(cè)為未知。

下期我們來好好說說何凱明他們團(tuán)隊(duì)又做出來重大貢獻(xiàn)的思路，有興趣的你請(qǐng)持續(xù)關(guān)注，謝謝！