挑戰(zhàn)傳統(tǒng)！首個(gè)數(shù)據(jù)驅(qū)動(dòng)的事件相機(jī)特征追蹤框架橫空出世！（1）

分辨率、增強(qiáng)的運(yùn)動(dòng)模糊恢復(fù)能力以及稀疏的輸出。這些特點(diǎn)使其成為低延遲和低帶寬特征跟蹤的理想選擇，即使在具有挑戰(zhàn)性的場(chǎng)景中也能表現(xiàn)出色。目前的事件相機(jī)特征跟蹤方法通常由手工制作，或由第一原理衍生。這些方法都需要進(jìn)行大量的參數(shù)調(diào)整，并且對(duì)噪聲非常敏感。另外，由于未能完全考慮所有影響因素，這些方法無(wú)法推廣到不同的場(chǎng)景中。為了解決事件相機(jī)特征跟蹤方法存在的缺陷，本文針對(duì)事件相機(jī)提出了一種全新數(shù)據(jù)驅(qū)動(dòng)的特征跟蹤模型（First）。該方法利用低延遲事件數(shù)據(jù)，對(duì)灰度幀中檢測(cè)到的特征進(jìn)行跟蹤。通過(guò)使用幀注意力模塊，實(shí)現(xiàn)跨特征通道的信息共享，并提供更魯棒的性能表現(xiàn)。通過(guò)直接將合成數(shù)據(jù)的零樣本遷移到真實(shí)數(shù)據(jù)上，數(shù)據(jù)驅(qū)動(dòng)跟蹤模型在相對(duì) Feature Age 的表現(xiàn)超過(guò)現(xiàn)有方法（最高達(dá)到了120％），同時(shí)實(shí)現(xiàn)了最低的延遲。通過(guò)采用新穎的自監(jiān)督策略使我們的跟蹤模型適應(yīng)真實(shí)數(shù)據(jù)，這種性能差距進(jìn)一步擴(kuò)大到 130%。

盡管目前有許多成功的方法進(jìn)行特征跟蹤，但現(xiàn)有的特征跟蹤器仍受到標(biāo)準(zhǔn)相機(jī)硬件性能的限制。首先，標(biāo)準(zhǔn)相機(jī)面臨帶寬延遲權(quán)衡，這明顯限制了它們?cè)诳焖僖苿?dòng)下的性能：在低幀速率下，它們具有最小的帶寬，但代價(jià)是延遲增加；此外，低幀率會(huì)導(dǎo)致連續(xù)幀之間出現(xiàn)較大的外觀變化，從而顯著增加跟蹤特征的難度。在高幀速率下，延遲會(huì)減少，但代價(jià)是增加帶寬開(kāi)銷與下游系統(tǒng)的功耗。標(biāo)準(zhǔn)相機(jī)的另一個(gè)問(wèn)題是運(yùn)動(dòng)模糊，這在高速低照度場(chǎng)景中尤為突出。隨著當(dāng)前AR/VR設(shè)備的商品化，這些問(wèn)題變得更加突出。事件攝像機(jī)已被證明是標(biāo)準(zhǔn)相機(jī)的理想替代品，可以解決帶寬延遲權(quán)衡問(wèn)題。事件相機(jī)是仿生視覺(jué)傳感器，只要單個(gè)像素的亮度變化超過(guò)預(yù)定義的閾值，就會(huì)異步觸發(fā)信息。由于這種獨(dú)特的工作原理，事件攝像機(jī)輸出時(shí)間分辨率為微秒級(jí)的稀疏事件流，并具有高動(dòng)態(tài)范圍和低功耗的特點(diǎn)。由于事件主要是根據(jù)邊緣對(duì)應(yīng)觸發(fā)的，因此事件相機(jī)呈現(xiàn)最小的帶寬。這使得它們非常適合克服標(biāo)準(zhǔn)相機(jī)存在的缺點(diǎn)。為了解決這些缺陷，本文提出了第一個(gè)用于事件相機(jī)的數(shù)據(jù)驅(qū)動(dòng)特征跟蹤模型，它利用事件相機(jī)的高時(shí)間分辨率與標(biāo)準(zhǔn)幀相結(jié)合來(lái)最大限度地提高跟蹤性能。基于神經(jīng)網(wǎng)絡(luò)模型，在后續(xù)事件流中定位來(lái)自灰度圖像的模板圖像來(lái)跟蹤特征。為了提高跟蹤性能，引入了一種新穎的幀注意模塊，該模塊可以在一個(gè)圖像中的特征跟蹤之間共享信息。首先在合成光流數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后使用基于使用相機(jī)姿勢(shì)的 3D 點(diǎn)三角測(cè)量的新穎自我監(jiān)督方案對(duì)其進(jìn)行微調(diào)。本文的跟蹤模型在事件相機(jī)數(shù)據(jù)集基準(zhǔn) EC 和最近發(fā)布的 EDS 數(shù)據(jù)集上分別比最先進(jìn)的方法高出 5.5% 和 130.2%。無(wú)需大量手動(dòng)手動(dòng)調(diào)整參數(shù)即可實(shí)現(xiàn)此性能。此外，在不優(yōu)化部署代碼的情況下，本文的方法比現(xiàn)有方法實(shí)現(xiàn)了更快的推理速度。最后，將本文的方法與成熟的基于幀的跟蹤器 KLT 進(jìn)行結(jié)合，在高速場(chǎng)景中充分利用兩種數(shù)據(jù)的優(yōu)點(diǎn)。

在高速和高動(dòng)態(tài)范圍場(chǎng)景中，現(xiàn)有事件相機(jī)特征跟蹤方法的延遲和跟蹤魯棒性具有極好的效果。但是，到目前為止，基于事件的跟蹤方法仍是基于經(jīng)典模型假設(shè)設(shè)計(jì)的，這會(huì)導(dǎo)致在存在噪聲的情況下跟蹤性能較差。它們要么依賴于運(yùn)動(dòng)參數(shù)的迭代優(yōu)化，要么對(duì)特征可能的變換進(jìn)行簡(jiǎn)單的分類。因此，由于未建模因素的影響，不能推廣到不同的場(chǎng)景中去。此外，它們通常具有復(fù)雜的模型參數(shù)，需要大量的手動(dòng)調(diào)整以適應(yīng)不同的事件相機(jī)和不同的場(chǎng)景。

特征跟蹤算法旨在在后續(xù)時(shí)間步中跟蹤參考系中的給定點(diǎn)。通常通過(guò)提取參考幀中特征位置周圍的外觀信息，然后在后續(xù)幀中進(jìn)行匹配和定位。遵循此流程，本文在時(shí)間步處對(duì)給定位置提取灰度幀中的圖像，并使用異步事件流跟蹤該特征。時(shí)間步和之間的事件流由事件組成，每個(gè)事件編碼像素坐標(biāo)、微秒級(jí)分辨率的時(shí)間戳和極性。給定參考圖像，本文的網(wǎng)絡(luò)使用前一時(shí)間步的特征位置的局部鄰域中的相應(yīng)事件流來(lái)預(yù)測(cè)和期間的相對(duì)特征位移。本地窗口內(nèi)的事件被轉(zhuǎn)換為密集事件表示，具體來(lái)講使用 SBT 的最大時(shí)間戳版本進(jìn)行數(shù)據(jù)預(yù)處理，其中每個(gè)像素都分配有最近事件的時(shí)間戳。一旦網(wǎng)絡(luò)將參考補(bǔ)丁定位在當(dāng)前事件補(bǔ)丁內(nèi)，就會(huì)更新特征軌跡，并在新預(yù)測(cè)的特征位置提取新的事件流，同時(shí)保留參考圖像塊。然后重復(fù)這一過(guò)程，同時(shí)累積相對(duì)位移以構(gòu)建一個(gè)連續(xù)的特征軌跡。本文方法和幀注意力模塊的概述如圖 2 所示。

為了在當(dāng)前事件流內(nèi)定位模板圖像中的特征，特征網(wǎng)絡(luò)首先基于FPN編碼器對(duì)兩個(gè)圖片進(jìn)行編碼。生成的輸出是兩個(gè)圖像的逐像素特征圖，其中包含上下文信息，同時(shí)保留空間信息。為了計(jì)算事件圖片和模板圖片中每個(gè)像素之間的相似性，本文基于模板圖片編碼器的瓶頸特征向量和事件補(bǔ)丁的特征圖構(gòu)建了一個(gè)相關(guān)圖，如下圖所示。隨后，將兩個(gè)特征圖與相關(guān)圖組合作為后續(xù)特征編碼器的輸入，以細(xì)化相關(guān)圖。該特征編碼器由標(biāo)準(zhǔn)卷積和一個(gè)具有時(shí)間狀態(tài)的 ConvLSTM 塊組成。時(shí)間信息對(duì)于預(yù)測(cè)隨時(shí)間變化的特征軌跡至關(guān)重要。此外，它還可以集成事件提供的運(yùn)動(dòng)信息。特征網(wǎng)絡(luò)的輸出是空間維度為1×1的單個(gè)特征向量。到目前為止，每個(gè)特征都是相互獨(dú)立處理的。

為了在同一圖像不同特征之間進(jìn)行共享信息，本文引入了一種新穎的幀注意模塊，如下圖所示。由于剛體上的點(diǎn)在圖像平面中表現(xiàn)出相關(guān)運(yùn)動(dòng)，因此在圖像上的特征之間共享信息有很大的好處。為了實(shí)現(xiàn)這一點(diǎn)，本文的幀注意力模塊將當(dāng)前時(shí)間步處所有圖像塊的特征向量作為輸入，并基于所有特征向量的自注意力加權(quán)融合計(jì)算每個(gè)圖像塊的最終位移。具體來(lái)說(shuō)，在一段時(shí)間內(nèi)為每個(gè)特征設(shè)定一個(gè)狀態(tài)，以便利用注意力模塊融合中先前時(shí)間步中的位移預(yù)測(cè)。時(shí)間信息有助于與過(guò)去具有相似運(yùn)動(dòng)的特征之間的信息共享。這樣，通過(guò)在相似的特征軌跡上自適應(yīng)地調(diào)節(jié)它們，可以在具有挑戰(zhàn)性的情況下維護(hù)易受攻擊的特征軌跡。每個(gè)輸入特征向量首先使用兩個(gè)具有 Leaky ReLU 激活函數(shù)的線性層(MLP) 與當(dāng)前狀態(tài)融合（每個(gè)特征向量單獨(dú)進(jìn)行）。然后，圖像中產(chǎn)生的所有融合特征都將用作多頭注意力（MHA）的 key、query 和 value，增強(qiáng)圖像每個(gè)特征自身信息的提取。為了促進(jìn)訓(xùn)練，在每個(gè)特征的多頭注意力周圍引入了一個(gè)跳躍連接，該連接在訓(xùn)練過(guò)程中通過(guò) Layerscale 層  (LS) 進(jìn)行自適應(yīng)加權(quán)。然后，在門控層中使用所得的特征向量，根據(jù)先前的狀態(tài)(GL) 計(jì)算更新的狀態(tài)，具體的公式如下所示。

最終，更新后的狀態(tài)通過(guò)單個(gè)線性層進(jìn)行處理用來(lái)預(yù)測(cè)最終位移。

跟蹤網(wǎng)絡(luò)、提取網(wǎng)絡(luò)甚至流網(wǎng)絡(luò)的監(jiān)督仍然是一個(gè)開(kāi)放的研究領(lǐng)域，因?yàn)榘袼丶?jí)對(duì)應(yīng)作為真值的數(shù)據(jù)集很少見(jiàn)。更糟糕的是，基于事件的精確像素對(duì)應(yīng)的數(shù)據(jù)集更少。為了克服這個(gè)限制，本文首先使用來(lái)自 Multiflow 數(shù)據(jù)集的合成數(shù)據(jù)來(lái)訓(xùn)練本文的網(wǎng)絡(luò)，其中包含幀、合成生成的事件和真實(shí)像素流。然而，由于沒(méi)有對(duì)噪聲進(jìn)行建模，因此合成事件與真實(shí)事件攝像機(jī)記錄的事件有很大不同。因此，在第二步中，使用新穎的姿勢(shì)監(jiān)督損失來(lái)微調(diào)本文的網(wǎng)絡(luò)，以縮小合成事件和真實(shí)事件之間的差距。

合成數(shù)據(jù)的好處在于它提供了真實(shí)的特征軌跡。因此，基于L1距離損失可以直接應(yīng)用于預(yù)測(cè)和真實(shí)值之間的每一個(gè)預(yù)測(cè)步驟的預(yù)測(cè)和真是位移之間的相對(duì)位位移，如圖3所示。有可能預(yù)測(cè)的特征軌跡發(fā)散到模板塊之外，使得下一個(gè)特征位置不在當(dāng)前搜索中。因此，如果預(yù)測(cè)位移和真實(shí)位移的差值| | Δf ( j-Δfj | | 1 )超過(guò)了塊半徑r，我們不將L1距離加到最終損失中，以避免在監(jiān)督中引入噪聲。我們的截?cái)鄵p失函數(shù)的定義如下所示：

為了使網(wǎng)絡(luò)適應(yīng)真實(shí)場(chǎng)景，引入了一種新穎的僅基于已標(biāo)定相機(jī)真實(shí)姿態(tài)的姿態(tài)監(jiān)督損失函數(shù)。利用運(yùn)動(dòng)結(jié)構(gòu)回復(fù)（SFM）算法，例如COLMAP，或者通過(guò)外部運(yùn)動(dòng)捕捉系統(tǒng)，可以很容易地獲得稀疏時(shí)間步的真實(shí)姿態(tài)。由于本文的監(jiān)督策略依賴基于位姿的3D點(diǎn)的三角剖分，因此只能應(yīng)用在靜態(tài)場(chǎng)景中。在微調(diào)的第一步，跟蹤模型預(yù)測(cè)一個(gè)事件序列的多個(gè)特征軌跡。對(duì)于每個(gè)預(yù)測(cè)軌跡，直接使用Direct Linear Transform(DLT)算法計(jì)算相應(yīng)3D點(diǎn)。具體來(lái)說(shuō)，對(duì)于每個(gè)特征位置，可以使用相機(jī)位姿假設(shè)針孔相機(jī)模型的投影方程，表示為時(shí)間步的旋轉(zhuǎn)矩陣、平移向量與標(biāo)定矩陣，具體計(jì)算如下述公式。由此得到的投影矩陣可以表示為由列向量組成的矩陣，其中。

利用DLT算法，可以將投影方程轉(zhuǎn)化為如下述公式的齊次線性方程組。通過(guò)SVD，得到使方程的最小二乘誤差最小的三維點(diǎn)。一旦計(jì)算出的三維位置，就可以利用透射投影公式來(lái)找到每個(gè)事件步相對(duì)應(yīng)的重投影像素點(diǎn)。。最終的位姿監(jiān)督損失函數(shù)根據(jù)預(yù)測(cè)的特征和在時(shí)刻每個(gè)可用的相機(jī)位姿的重投影特征構(gòu)建。如圖4所示。本文使用如下的截?cái)鄵p失函數(shù)，當(dāng)重投影的特征不在事件塊之內(nèi)時(shí)， 排除該部分損失函數(shù)的值。