基于改進(jìn)型多粒度超圖的行人序列重識別

摘 要：近年來，跨攝像頭行人識別成為研究的一個熱點(diǎn)，利用深度學(xué)習(xí)可以快速地識別行人，并以此為基礎(chǔ)進(jìn)一步研究跨攝像頭行人重識別。多粒度超圖同時利用視頻序列中的空間和時間線索，大大提升行人重識別的識別率，但是多粒度超圖算法計算量比較大，識別速度較慢。因此，本文提出了一種改進(jìn)型多粒度超圖算法，通過與多粒度超圖模型試驗(yàn)對比，結(jié)果表明，改進(jìn)型多粒度超圖算法在保證識別率不降低的情況下，識別速度明顯提升。

關(guān)鍵詞：行人序列重識別；多粒度超圖；主成分分析

0 引言

隨著深度學(xué)習(xí)和圖像處理技術(shù)的不斷發(fā)展，人臉識別在特定條件下準(zhǔn)確率已經(jīng)非常高了，很難有重大突破。但是在城市視頻監(jiān)控中經(jīng)常遇到跨攝像頭行人識別問題，即給定目標(biāo)人物跨攝像頭追蹤該行人，這類識別方法稱為行人重識別。為了解決單張圖片特征受限和識別率低的問題，用圖片序列作為跨攝像頭識別行人的方法稱為行人序列重識別。

行人序列重識別分為行人檢測和行人識別兩個步驟，行人序列重識別系統(tǒng)如圖 1 所示。

圖1 行人序列重識別系統(tǒng)

將視頻監(jiān)控攝像頭拍攝的圖片輸入到行人序列重識別系統(tǒng)，提取行人的時間和空間特征；然后提取待檢索行人序列的特征，進(jìn)行相似性度量；最后根據(jù)度量結(jié)果識別行人。

傳統(tǒng)方法主要集中在圖像的行人重識別上，忽略了行人序列的時間和空間特征；隨著基于視頻的大規(guī)模數(shù)據(jù)集的出現(xiàn)，主流方法主要集中在挖掘視頻序列的全局特征和時序信息。多粒度超圖就是典型的利用行人序列的時間和空間特征進(jìn)行行人重識別的，識別率較好，但是計算量太大。于是本文提出一種基于主成分分析（PCA）和多粒度超圖（MGH）結(jié)合的行人序列重識別算法，該算法在保證識別率不降低的情況下，識別速度明顯提升。其主要工作如下：提取行人序列時間和空間特征；對特征降維；計算相似度。

1 算法

1.1 架構(gòu)

1）MGH 特征提取，用 MGH 架構(gòu)提取行人序列的時間和空間特征。

2）PCA 降維，用 PCA 對候選集和查詢集行人序列特征降維，得到更有價值的特征，去除噪聲，降低算法的計算開銷，加快處理速度。

3）相似度測量，將查詢集序列分別輸入到候選集和查詢集 GMM 模型，生成概率分布數(shù)據(jù)，然后用 KL 對兩種概率分布進(jìn)行相似性度量并排序，計算出行人序列重識別的精度。本系統(tǒng)架構(gòu)如圖 2 所示。

1.2 MGH特征提取

MGH 通過對行人序列的時間和空間建模來表示全局和局部特征，以及行人序列直接的關(guān)聯(lián)特征。具體來說，就是用不同空間粒度的超圖提取行人序列不同級別的特征；每個超圖中，不同的時間粒度用超邊特征連接，此方法解決了圖片沒有對齊和遮擋兩個關(guān)鍵性問題。

空間線索的多粒度與固定分區(qū)相比明顯提高了人體劃分粒度的性能。在行人序列重識別中，多粒度空間之間的聯(lián)系非常重要，因?yàn)椴煌臻g的粒度捕獲不同分區(qū)之間的差異，從而解決了由于視頻序列中檢測對齊不準(zhǔn)確導(dǎo)致的空間錯位問題，利用多個空間粒度可以更好地解決空間錯位問題。時間線索的多粒度在行人重識別中應(yīng)用非常廣泛，經(jīng)常用短動態(tài)和長動態(tài)表示。短期動態(tài)可以通過提取額外的光流特征來表示，而長期時間特征可以通過利用 3D CNN 或時間特征聚合器來獲得。然而，短期和長期的時間線索在判別特征學(xué)習(xí)中具有不同的功能。長動態(tài)可以減少短動態(tài)因遮擋帶來的影響。MGH 很好地利用了行人序列中時間和空間特性提取特征。

1.3 PCA降維

PCA 的作用就是進(jìn)一步提取多粒度超圖的特征，降低特征維度，具體做法是從原始空間中找一個新的正交坐標(biāo)系，第一個坐標(biāo)軸選擇原始數(shù)據(jù)方差最大的方向，第二個坐標(biāo)軸選擇和第一個坐標(biāo)軸正交且方差最大的方向，以此類推，建立新的正交坐標(biāo)系。通過此方法，大部分方差就包含在前面幾個坐標(biāo)系中，后面坐標(biāo)系方差幾乎為零，從而達(dá)到降維的目的，這樣可以有效地降低行人重識別的計算量。本方案保證行人序列特征在 97% 的基礎(chǔ)上，數(shù)據(jù)維度從 2048 維降低到 300 維，大大地降低了計算量。

1.4 KL散度

KL 散度適用于兩個模型之間的度量，因此本文采用 KL 散度度量兩個模型之間的距離，實(shí)驗(yàn)證明，效果很好。

2 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集使用 MARS 和 iLIDS-VID 數(shù)據(jù)集。MARS 數(shù)據(jù)庫是目前已公開的最大視頻行人重識別數(shù)據(jù)集，包含 1 261 個行人，采集于 6 個不同的攝像頭，每個人被 2~3 個攝像頭捕捉到，每個行人平均含有 13.2 個視頻序列。iLIDS-VID 數(shù)據(jù)庫包含從兩個無交疊攝像頭采集的 300 個行人的 600 個視頻段，每個行人視頻段含有 23 到 192 幀圖像不止，平均含有 73 幀。

3 結(jié)語

本文提出的改進(jìn)型多粒度超圖的行人序列重識別算法，首先用 MGH 架構(gòu)提取行人序列特征，然后通過 PCA 降維減少計算量，最后用 KL 散度計算相似度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)型多粒度超圖算法在保證識別率不降低的情況下，識別速度明顯提升。

參考文獻(xiàn)：

[1] YE M, SHEN J B, LIN G J, et al. Deep learning for person re-identification: a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021.

[2] 董亞超,劉宏哲,徐成.基于顯著性多尺度特征協(xié)作融合的行人重識別方法[J].計算機(jī)工程,2021(06).

[3] 袁韶祖,王雷全,吳春雷.基于多粒度視頻信息和注意力機(jī)制的視頻場景識別[J].計算機(jī)系統(tǒng)應(yīng)用,2020(05).

[4] ZHAO Y L, LI Y L, WANG S J. Person re-identification with effectively designed parts[J]. Tsinghua Science and Technology, 2020(03).

[5]?郭若沛.基于圖像的行人再識別重排序算法研究[D].北京:北京郵電大學(xué),2020.

[6]?鄭偉詩,吳岸聰.非對稱行人重識別:跨攝像機(jī)持續(xù)行人追蹤[J].信息科學(xué),2018(05).

[7]?吳文灝.基于深度學(xué)習(xí)的視頻識別研究[D].深圳:中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院),2020.

[8]?張新峰,宋博.一種基于改進(jìn)三元組損失和特征融合的行人重識別方法[J].計算機(jī)科學(xué),2021(09).

[9]?馮霞,杜佳浩,段儀濃,等.基于深度學(xué)習(xí)的行人重識別研究綜述[J].計算機(jī)應(yīng)用研究,2020(11).

[10]?羅浩,姜偉,范星,等.基于深度學(xué)習(xí)的行人重識別研究進(jìn)展[J].自動化學(xué)報,2019(11).

(注：本文轉(zhuǎn)載自《電子產(chǎn)品世界》雜志2022年10月期)