基于數(shù)字集成電路的智能監(jiān)控與識別追蹤系統(tǒng)*

*本項(xiàng)目獲得“2020全國大學(xué)生集成電路創(chuàng)新創(chuàng)業(yè)大賽”全國三等獎，西南賽區(qū)一等獎

作者簡介：張?。?999—），男，漢，主要從事機(jī)器視覺，圖像處理，FPGA，RISC-V等方面的研究。

牛麗婷（2000—），女。王宜楠（1999—），女。

0   引言

近年來，隨著數(shù)字電子技術(shù)的不斷發(fā)展進(jìn)步，基于圖像處理的自動監(jiān)控技術(shù)逐漸走進(jìn)大家的視野，公眾的安全與社會的穩(wěn)定由此受到一定的保障。傳統(tǒng)的視頻監(jiān)控系統(tǒng)主要是通過一些傳感器來采集數(shù)據(jù)，但需要有操作員長時間觀察顯示器，并通過人腦的判斷來對其進(jìn)行相應(yīng)識別，十分耗費(fèi)精力。因此，引入智能監(jiān)控與識別追蹤技術(shù)十分有必要。本設(shè)計應(yīng)用移動偵測，一旦采集得的圖像數(shù)據(jù)中移動程度超過了檢測閾值，且判斷移動的物體是人而不是動物，系統(tǒng)即自動發(fā)出報警及時通知監(jiān)測人員，并實(shí)現(xiàn)攝像頭的跟隨移動監(jiān)控，從而大程度提高監(jiān)測效率。

1   整體構(gòu)架

本團(tuán)隊(duì)所設(shè)計的機(jī)器人的整體架構(gòu)設(shè)計框圖如圖1所示。由圖可見，系統(tǒng)分為相互聯(lián)系的攝像頭模塊、DDR3 SDRAM 數(shù)據(jù)存儲與通信模塊、圖像處理模塊以及蜂鳥 E203 RISC-V SoC 片上系統(tǒng)。

圖1 系統(tǒng)整體架構(gòu)設(shè)計圖

2   算法系統(tǒng)

2.1 背景差分法

2.1.1 原理介紹

背景差分法是先設(shè)定一張圖像作為背景圖像，然后通過對比背景圖像和接下來每一幀圖像數(shù)據(jù)的關(guān)系，設(shè)閾值做差分來分離出運(yùn)動目標(biāo)輪廓的一種方法。背景差分法是當(dāng)前被廣泛采用的一種動態(tài)目標(biāo)檢測方法。使用背景差分法檢測運(yùn)動物體首先需要建立背景模板M(x,y)，預(yù)先儲存一幀圖像畫面作為背景圖像，然后接下來采集到的每一幀圖像T(x,y) 要與背景模板M(x,y)進(jìn)行減法運(yùn)算，在設(shè)定一個合適的閾值P 的前提下，減出來的數(shù)值如果在閾值之內(nèi)，則說明畫面靜止；如果超出了閾值，則表示這個像素點(diǎn)是運(yùn)動目標(biāo)的其中一個點(diǎn)，將兩種結(jié)果進(jìn)行二值化，最終結(jié)果設(shè)為B(x,y)。^[1]

背景差分法實(shí)現(xiàn)的關(guān)鍵是背景模型的獲取和更新。背景獲取算法通常要求在場景中存在運(yùn)動目標(biāo)的情況下獲取背景圖像，更新過程使背景能夠適應(yīng)場景的各種變化和干擾, 如外界光線的改變, 背景中對象的擾動和固定對象的移動，陰影的影響等。一種典型的背景建模方法是用混合高斯模型描述背景圖像像素值的分布，目標(biāo)檢測過程中判斷圖像的當(dāng)前像素值是否符合該分布，若是被判為前景點(diǎn)，否則為背景點(diǎn)。同時根據(jù)新獲取的圖像，對背景圖像參數(shù)進(jìn)行自適應(yīng)更新。

在本設(shè)計中，我們將背景差分法與下文介紹的幀差法相結(jié)合，避免光照變化等情況對運(yùn)動目標(biāo)的漏檢和誤檢，獲得系統(tǒng)檢測的魯棒性。

2.1.2 算法實(shí)現(xiàn)

在利用背景差分法來實(shí)現(xiàn)對運(yùn)動區(qū)域的檢測時，需要通過連續(xù)k 幀的區(qū)域反饋?zhàn)R別物體的移動。本設(shè)計通過對實(shí)際圖像建模建立背景模板，將獲取的圖像數(shù)據(jù)與之比較，取約1 000 個不同時刻的像素值與原有數(shù)據(jù)求平均值，從而求出k 的最優(yōu)解，即k 為多少時，能夠較好地吻合數(shù)據(jù)波動，并使k 盡可能地小，從而能確定取連續(xù)多少張背景圖時，能最迅速且最高效地實(shí)現(xiàn)背景差分法檢測運(yùn)動物體（如圖2）。

備注：算法所指平均值為“實(shí)時平均值” aver_time算術(shù)平均值稱為“真實(shí)平均值” aver_real

圖 a：可靠性reliability = (aver ? aver ) time real2 Design & Application 工業(yè)控制

圖b：分別將表格第4 列和第5 列畫出，可直觀感受到對比

圖c：將第4、5 列作差得到測量誤差隨幀數(shù)的變化

圖 d：波動性volatility = probe2 ? avertime

2.1.3. 處理環(huán)境波動

對于一個相對安靜的場景，我們將諸如光線明暗變化和風(fēng)吹葉動稱為環(huán)境的固有波動，屬于環(huán)境的固有屬性。而對于500 萬像素的OV5640 拍攝出來的圖像，像素點(diǎn)的小范圍波動稱為硬件波動。在處理一個運(yùn)動場景，要想分離出有效的運(yùn)動目標(biāo)，就要克服環(huán)境固有波動和硬件波動。^[2]

本設(shè)計充分統(tǒng)計了這兩種不可消除的波動分布，大致分為四個場景：光線明亮、光線昏暗、顏色多雜和純色背景。對于這四種不同場景，我們選取的閾值是不同的，充分提高監(jiān)控設(shè)備的運(yùn)動偵測敏感度的同時，盡量做到不誤報。

2.2 HOG特征提取算法

2.2.1. HOG特征原理介紹

方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征是一種在計算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子。它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。Hog 特征結(jié)合SVM 分類器已經(jīng)被廣泛應(yīng)用于圖像識別中，尤其在行人檢測中獲得了極大的成功。[3]

1) 主要思想

在一副圖像中，局部目標(biāo)的表象和形狀（appearance and shape）能夠被梯度或邊緣的方向密度分布很好地描述。（本質(zhì)：梯度的統(tǒng)計信息，而梯度主要存在于邊緣的地方）。

2) 具體的實(shí)現(xiàn)方法：

首先將圖像分成小的連通區(qū)域，我們把它叫細(xì)胞單元。然后采集細(xì)胞單元中各像素點(diǎn)的梯度的或邊緣的方向直方圖。最后把這些直方圖組合起來就可以構(gòu)成特征描述器。

3) 提高性能：

把這些局部直方圖在圖像的更大的范圍內(nèi)（我們把它叫區(qū)間或block） 進(jìn)行對比度歸一化（contrastnormalized），所采用的方法是：先計算各直方圖在這個區(qū)間（block）中的密度，然后根據(jù)這個密度對區(qū)間中的各個細(xì)胞單元做歸一化。通過這個歸一化后，能對光照變化和陰影獲得更好的效果。[4]

2.2.2 HOG特征提取算法的實(shí)現(xiàn)過程

HOG 特征提取方法就是將一個image（你要檢測的目標(biāo)或者掃描窗口）：

1) 灰度化（將圖像看做一個x，y，z（灰度）的三維圖像）；

2) 采用Gamma 校正法對輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化（歸一化）；目的是調(diào)節(jié)圖像的對比度，降低圖像局部的陰影和光照變化所造成的影響，同時可以抑制噪聲的干擾；

3) 計算圖像每個像素的梯度（包括大小和方向）；主要是為了捕獲輪廓信息，同時進(jìn)一步弱化光照的干擾。

4) 將圖像劃分成小cells（例如6×6 像素/cell）；

5) 統(tǒng)計每個cell 的梯度直方圖（不同梯度的個數(shù)），即可形成每個cell 的descriptor；

6) 將每幾個cell 組成一個block（例如3*3 個cell/block），一個block 內(nèi)所有cell 的特征descriptor 串聯(lián)起來便得到該block 的HOG 特征descriptor。

7) 將圖像image 內(nèi)的所有block 的HOG特征descriptor串聯(lián)起來就可以得到該image（你要檢測的目標(biāo)）的HOG 特征descriptor 了。這個就是最終的可供分類使用的特征向量了。

2.3 人眼檢測

2.3.1 原理介紹

通過對輸入圖像矩陣的處理，標(biāo)記出人臉位置和眼睛的位置。

利用人臉幾何特征和sobel 邊緣檢測算法，對在有背景的灰度和彩色人臉圖像中自動檢測與定位人眼的操作。通過讀取輸入的圖片并將其存儲在RGB 矩陣內(nèi)，接著對圖片人臉區(qū)域進(jìn)行識別；然后采用sobel 算法對人臉區(qū)域進(jìn)行邊緣提取，并在存儲邊緣輪廓的矩陣中結(jié)合臉部邊緣特征定位眼睛。

具體步驟如圖3。

圖3 人眼檢測部分功能框圖

2.3.2 程序設(shè)計

具體步驟如圖4。

圖4 眼部定位步驟流程

3   機(jī)械結(jié)構(gòu)

3.1 攝像頭

OV5640 攝像頭主要由鏡頭、圖像傳感器、板載電路及下方的信號引腳組成。鏡頭部件包含一個鏡頭座和一個可旋轉(zhuǎn)調(diào)節(jié)距離的凸透鏡，通過旋轉(zhuǎn)可以調(diào)節(jié)焦距，正常使用時，鏡頭座覆蓋在電路板上遮光，光線只能經(jīng)過鏡頭傳輸?shù)秸醒氲膱D像傳感器，它采集光線信號，然后把采集得到的數(shù)據(jù)通過下方的信號引腳輸出數(shù)據(jù)到外部器件。

3.2 WiFi

3.2.1 功能

實(shí)現(xiàn)實(shí)時WiFi 信息傳輸，為實(shí)現(xiàn)未帶口罩示警提供技術(shù)支撐。

3.2.2 特點(diǎn)

提供用戶按鈕，用于在模式切換后重置處理器。提供WiFi、低功耗藍(lán)牙和藍(lán)牙通信。

3.3 云臺監(jiān)控

Pmod Step 板驅(qū)動步進(jìn)電機(jī)，帶動攝像頭延長板底座隨之轉(zhuǎn)動，從而實(shí)現(xiàn)攝像頭的全方位跟隨監(jiān)控。

4 系統(tǒng)整合報告

4.1 魯棒性

本團(tuán)隊(duì)著手從反應(yīng)速度、視野范圍和移動目標(biāo)漏檢率等指標(biāo)來衡量一個監(jiān)控檢測入侵系統(tǒng)的性能優(yōu)劣，并得出以下結(jié)論

4.1.1 監(jiān)控設(shè)備反應(yīng)速度較快

機(jī)器人采用OV5640 攝像頭，并使用Verilog 配置1 024×768 分辨率，像素時鐘pclk 為84 MHz，可計算出視頻幀率為65 Hz。

為消除環(huán)境波動給背景分離過程帶來的影響，我們?nèi)?6 幀圖像為一次處理過程，計算出平均波動值并和閾值比較。因此，機(jī)器人處理一次環(huán)境波動所需時間 ，約為0.25 s，遠(yuǎn)低于市面上的智能監(jiān)控設(shè)備。

4.1.2 視野范圍廣

此機(jī)器人所用OV5640 攝像頭監(jiān)控角度大約為44.096 ° ( 誤差不超過5 °)， 推薦可監(jiān)控的直徑為0.2~5 m，理想距離為2 m。不難計算，機(jī)器人的視野范圍為0.162 2~4.054 m，理想距離下的視野寬度為1.622 m。在這樣較開闊的視野下，能有效保證監(jiān)控到室內(nèi)的每個角落，并能有良好的監(jiān)控效果。

4.1.3 移動目標(biāo)可監(jiān)控范圍大

移動目標(biāo)漏檢指標(biāo)，是用來表征監(jiān)控設(shè)備對高速和低速運(yùn)動物體檢測能力。理想距離（2 m）下目標(biāo)以速度Vmax 快速橫向穿過監(jiān)控視野（1.622 m），所用時低于反應(yīng)速度即不被機(jī)器人捕捉到，可計算得機(jī)器人在理想監(jiān)控距離下的最大檢測速度Vmax=6.589 m/s。設(shè)靜止環(huán)境波動值為M0，則機(jī)器人所設(shè)閾值為120% M0。此時目標(biāo)以速度Vmin 緩慢在監(jiān)控視野內(nèi)橫向移動，若目標(biāo)移動導(dǎo)致的環(huán)境波動低于閾值，則可不被監(jiān)控識別到。此時速度應(yīng)滿足不等式，可計算出機(jī)器

人在理想監(jiān)控距離下的最小檢測速度Vmin=0.658 9 m/s。同理可得最小和最大監(jiān)控距離下的理論目標(biāo)速度范圍，如表1。

表1 最小和最大監(jiān)控距離下的理論目標(biāo)速度

經(jīng)實(shí)際測量，上述理論分析值可靠可信。由此可得，本機(jī)器人適用于絕大多數(shù)室內(nèi)監(jiān)控入侵場景，可檢測范圍囊括了全部目標(biāo)可能移動速度，可以基本做到在較極端場景下的不漏檢，即有較高的性能魯棒性。

4.2 人與動物區(qū)分效果

本設(shè)計中對人和動物的區(qū)分部分采用了多重模塊同時作用，從而保證判斷結(jié)果更加準(zhǔn)確。另外，口罩顏色識別模塊還能確定人臉的口罩佩戴規(guī)范情況。因此，本設(shè)計中多重確認(rèn)的模塊共同發(fā)揮作用，使得人和動物的識別判斷更加準(zhǔn)確和可靠( 如圖5)。

圖5 人與動物區(qū)分邏輯圖

4.3 調(diào)試最終效果

系統(tǒng)具有兩種運(yùn)行狀態(tài): 正常監(jiān)控狀態(tài)和入侵報警監(jiān)控狀態(tài)。正常監(jiān)控狀態(tài)下不對監(jiān)控視頻進(jìn)行存儲和編碼傳輸，入侵報警監(jiān)控狀態(tài)下具有觸發(fā)相應(yīng)的報警裝置并記錄監(jiān)控視頻和向上一級監(jiān)控中心編碼傳輸監(jiān)控視頻的功能。

4.3.1 LED燈光顯示--動態(tài)目標(biāo)顯示

當(dāng)采集得的圖像數(shù)據(jù)中檢測到移動物體時，本設(shè)計中紅色LED 燈亮起，提示偵測目標(biāo)的出現(xiàn)。當(dāng)上位機(jī)控制云臺監(jiān)控電機(jī)向左轉(zhuǎn)動時，藍(lán)色LED 燈亮起；向右轉(zhuǎn)動時，綠色LED 燈亮起。

4.3.2 云臺轉(zhuǎn)動跟蹤--目標(biāo)追蹤

本設(shè)計經(jīng)調(diào)試可實(shí)現(xiàn)智能跟蹤、自動跟拍移動目標(biāo)的功能，通過控制Pmod Step 板驅(qū)動步進(jìn)電機(jī)，帶動攝像頭延長板底座隨之轉(zhuǎn)動，從而實(shí)現(xiàn)攝像頭的自動轉(zhuǎn)動跟蹤功能。

4.3.3 上位機(jī)接收信號并反饋--警報信息傳送

當(dāng)采集得的圖像數(shù)據(jù)中被檢測有移動物體且對象為人時，WiFi 模塊發(fā)送警報信息傳遞至上位機(jī)，引起監(jiān)測方的注意。

5   結(jié)語

作為微電子專業(yè)的大二學(xué)生，在參加這次全國大學(xué)生集成電路創(chuàng)新創(chuàng)業(yè)大賽中，除了專業(yè)能力的鍛煉，眼界視角的開闊外，給我們最大的影響其實(shí)是思想層面。

比賽中，偶然聽得指導(dǎo)教師“AI 已死”，“軟件定義芯片”的觀點(diǎn)，深感震撼，并對未來智能化的發(fā)展心馳神往。

我知道Robei 公司不僅僅是一家EDA 公司，也是一家芯片設(shè)計公司，我也知道了，本次賽題電路可重構(gòu)，設(shè)備可重構(gòu)，它真正的名字叫做“可重構(gòu)機(jī)器人”，是真正的未來機(jī)器人競賽。我還知道，在華為被美國絞殺的今天，我們需要這樣的工具，而這樣的工具也需要我們?nèi)ブС滞晟啤?/p>

參考文獻(xiàn)：

[1] 圖像二值化[R/OL].https://baike.baidu.com/item/圖像二值化/1748870?fr=aladdin.

[2] SiFive,Inc.SiFive Freedom E310 Arty FPGA Dev Kit Getting Started Guide[Z].2017:5-12.

[3] 數(shù)字集成電路設(shè)計描述與仿真[EB/OL].https://m.book118.com/html/2017/0726/124465246.shtm?from=mip.

[4] MARGOLIS M.Arduino權(quán)威指南[M].楊昆云,譯.2版.北京:人民郵電出版社,2015.

（本文來源于《電子產(chǎn)品世界》雜志2021年3月期）