解析TLD視覺(jué)跟蹤技術(shù)的特點(diǎn)和工作原理

TLD跟蹤系統(tǒng)最大的特點(diǎn)就在于能對(duì)鎖定的目標(biāo)進(jìn)行不斷的學(xué)習(xí)，以獲取目標(biāo)最新的外觀特征，從而及時(shí)完善跟蹤，以達(dá)到最佳的狀態(tài)。也就是說(shuō)，開(kāi)始時(shí)只提供一幀靜止的目標(biāo)圖像，但隨著目標(biāo)的不斷運(yùn)動(dòng)，系統(tǒng)能持續(xù)不斷地進(jìn)行探測(cè)，獲知目標(biāo)在角度、距離、景深等方面的改變，并實(shí)時(shí)識(shí)別，經(jīng)過(guò)一段時(shí)間的學(xué)習(xí)之后，目標(biāo)就再也無(wú)法躲過(guò)。

TLD技術(shù)有三部分組成，即跟蹤器、學(xué)習(xí)過(guò)程和檢測(cè)器。TLD技術(shù)采用跟蹤和檢測(cè)相結(jié)合的策略，是一種自適應(yīng)的、可靠的跟蹤技術(shù)。TLD技術(shù)中，跟蹤器和檢測(cè)器并行運(yùn)行，二者所產(chǎn)生的結(jié)果都參與學(xué)習(xí)過(guò)程，學(xué)習(xí)后的模型又反作用于跟蹤器和檢測(cè)器，對(duì)其進(jìn)行實(shí)時(shí)更新，從而保證了即使在目標(biāo)外觀發(fā)生變化的情況下，也能夠被持續(xù)跟蹤。

跟蹤器

TLD跟蹤器采用重疊塊跟蹤策略，單塊跟蹤使用Lucas-Kanade光流法。TLD在跟蹤前需要指定待跟蹤的目標(biāo)，由一個(gè)矩形框標(biāo)出。最終整體目標(biāo)的運(yùn)動(dòng)取所有局部塊移動(dòng)的中值，這種局部跟蹤策略可以解決局部遮擋的問(wèn)題。

學(xué)習(xí)過(guò)程

TLD的學(xué)習(xí)過(guò)程是建立在在線模型(onlinemodel)的基礎(chǔ)上。在線模型是一個(gè)大小為15×15的圖像塊的集合，這些圖像塊來(lái)自跟蹤器和檢查器所得的結(jié)果，初始的在線模型為起始跟蹤時(shí)指定的待跟蹤的目標(biāo)圖像。

在線模型是一個(gè)動(dòng)態(tài)模型，它隨視頻序列增長(zhǎng)或減小。在線模型的發(fā)展有兩個(gè)事件來(lái)驅(qū)動(dòng)，分別為增長(zhǎng)事件和修剪事件。由于在實(shí)際中，來(lái)自環(huán)境和目標(biāo)本身等多因素的影響，使目標(biāo)的外觀不斷發(fā)生變化，這使得由跟蹤器預(yù)測(cè)產(chǎn)生的目標(biāo)圖像會(huì)包含更多其它感興趣的因素。如果我們把跟蹤軌跡上所有目標(biāo)圖像看成一個(gè)特征空間，那么隨著視頻序列的推進(jìn)，由跟蹤器所致的特征空間將不斷增大，這就是所說(shuō)的增長(zhǎng)事件。為了防止增長(zhǎng)事件帶來(lái)的雜質(zhì)(其他非目標(biāo)圖像)影響跟蹤效果，采用了與之相對(duì)的修剪事件來(lái)平衡。修剪事件就是用來(lái)去除增長(zhǎng)事件所致的雜質(zhì)。由此，兩事件的相互作用促使在線模型一直保持與當(dāng)前的跟蹤目標(biāo)相一致。

由增長(zhǎng)事件帶來(lái)的特征空間的擴(kuò)張來(lái)自于跟蹤器，即從處于跟蹤軌跡上的目標(biāo)圖像中選擇合適的樣本，并以此來(lái)更新在線模型。有三種選擇策略，具體如下。

與起始待跟蹤目標(biāo)圖像相似的圖像塊，均被加入到在線模型;

如果當(dāng)前幀的跟蹤目標(biāo)圖像與前一幀的相似，則將當(dāng)前的跟蹤結(jié)果圖像加入到在線模型;

計(jì)算跟蹤軌跡上的目標(biāo)圖像到在線模型間的距離，選擇具有特定模式的目標(biāo)圖像，即起初目標(biāo)圖像與在線模型的距離較小，隨之距離逐漸增大，而后距離又恢復(fù)成較小狀態(tài)。循環(huán)檢驗(yàn)是否存在這種模式，并將該模式內(nèi)的目標(biāo)圖像加入到在線模型。

增長(zhǎng)事件的特征選擇方式，保證了在線模型始終緊隨跟蹤目標(biāo)的最新?tīng)顟B(tài)，避免因模型更新不實(shí)時(shí)所導(dǎo)致的跟蹤丟失。其中最后一種選擇策略也是TLD技術(shù)的特色之一，它體現(xiàn)了自適應(yīng)跟蹤的特性。當(dāng)跟蹤發(fā)生漂移時(shí)，跟蹤器會(huì)自動(dòng)適應(yīng)背景，而不會(huì)很突然地轉(zhuǎn)移到跟蹤目標(biāo)上。

修剪事件假設(shè)每幀只有一個(gè)目標(biāo)，當(dāng)跟蹤器和檢測(cè)器都認(rèn)可目標(biāo)位置時(shí)，剩余的檢測(cè)圖像就被認(rèn)為是錯(cuò)誤樣本，從在線模型中刪除。

在線模型中的樣本為TLD的學(xué)習(xí)過(guò)程提供了素材。另外，TLD在訓(xùn)練生成分類器(隨機(jī)森林)的過(guò)程中，采用了兩種約束：P約束和N約束。P約束規(guī)定與跟蹤軌跡上的目標(biāo)圖像距離近的圖像塊為正樣本;反之，為負(fù)樣本，即為N約束。PN約束降低了分類器的錯(cuò)誤率，在一定的范圍內(nèi)，其錯(cuò)誤率趨近于零。

檢測(cè)器

TLD技術(shù)設(shè)計(jì)了一個(gè)快速、可靠的檢測(cè)器，它為跟蹤器提供了必要的支持。當(dāng)跟蹤器所得的結(jié)果失效時(shí)，需要用檢測(cè)器的結(jié)果來(lái)補(bǔ)充糾正，并且對(duì)跟蹤器重新初始化。具體做法如下。

對(duì)于每幀同時(shí)運(yùn)行跟蹤器、檢測(cè)器，跟蹤器預(yù)測(cè)出一個(gè)目標(biāo)位置信息，而檢測(cè)器則可能檢出多幅圖像;

決定目標(biāo)的最終位置時(shí)，優(yōu)先考慮跟蹤器所得的結(jié)果，即如果跟蹤到的圖像與最初的目標(biāo)圖像相似度大于某閾值，就接受該跟蹤結(jié)果;否則，將從檢測(cè)器的結(jié)果中，選用與最初目標(biāo)相似度最大的圖像作為跟蹤結(jié)果;

如果為第二步驟中的后者，那么此時(shí)更新跟蹤器的最初目標(biāo)模型，用現(xiàn)選用的跟蹤結(jié)果替換原有的目標(biāo)模型，同時(shí)，刪除以前模型中的樣本，以新樣本重新開(kāi)始。

檢測(cè)器是由在線模型中的樣本經(jīng)訓(xùn)練學(xué)習(xí)生成的隨機(jī)森林分類器。其選取的特征為區(qū)域的邊緣方向，稱之為2bitBP特征，它具有不受光線干擾的特性。特征通過(guò)量化，共有4種可能的編碼。對(duì)于給定的區(qū)域，其特征編碼是唯一的。多尺度的特征計(jì)算可以采用積分圖像的方法。

將每一個(gè)圖形塊都用眾多的2bitBP特征來(lái)表示，并把這些特征分成同大小的不同的組，每一組代表了圖像塊外觀的不同表示。用于檢測(cè)的分類器采用隨機(jī)森林的形式。隨機(jī)森林由樹(shù)組成，而每棵樹(shù)是由一個(gè)特征組構(gòu)造而成。樹(shù)的每個(gè)特征都作為一個(gè)決策結(jié)點(diǎn)。

隨機(jī)森林通過(guò)增長(zhǎng)事件和修剪事件完成在線更新和演化。開(kāi)始時(shí)，每棵樹(shù)由最初目標(biāo)模板的特征組構(gòu)建，都只有一個(gè)“枝”。隨著增長(zhǎng)事件對(duì)正樣本的選取，隨機(jī)森林也不斷加入新的“枝”;修剪事件則相反，它會(huì)去掉隨機(jī)森林中不用的“枝”。這種實(shí)時(shí)的檢測(cè)器采用掃描窗口的策略：按照位置和尺度掃描輸入幀，對(duì)每個(gè)子窗口應(yīng)用分類器判斷是否屬于目標(biāo)圖像。

TLD技術(shù)巧妙地把跟蹤器、檢測(cè)器和學(xué)習(xí)過(guò)程結(jié)合在一起，共同實(shí)現(xiàn)目標(biāo)的跟蹤。