高速手勢識別系統(tǒng)解決方案

1設(shè)計摘要

目前，研究自然化的人機交互是當今計算機科學技術(shù)領(lǐng)域的主要研究熱點之一，手勢輸入作為一種自然、豐富、直接的交互手段在人機交互技術(shù)中占有重要的地位。本項目提出以Xilinx公司Spartan 6系列FPGA為核心器件的手勢識別系統(tǒng)設(shè)計的方案，采用FPGA芯片的內(nèi)置DSP硬核作為手勢識別模塊的核心,負責圖像識別算法的實現(xiàn)，采用FPGA作為圖像采集模塊的控制中心,負責圖像的采集,完成預處理和攝像頭聚焦和云臺的控制工作，以FPGA高速強大的處理能力保證了系統(tǒng)的實時性。手勢識別部分融合人手顏色信息和手勢運動信息，利用種子算法對復雜背景下的手勢進行分割。根據(jù)分割出的手勢區(qū)域大大加速了運動特征參數(shù)的提取,并結(jié)合手勢區(qū)域的形狀特征,建立手勢的時空表觀模型。識別時，采用獨立分布的多狀態(tài)高斯概率模型，進行時間規(guī)整，通過DSP和FPGA在處理不同結(jié)構(gòu)算法的優(yōu)勢, 大大提高了手勢識別的處理速度和準確性。高速性將是該手勢識別系統(tǒng)最突出的優(yōu)點，可實現(xiàn)更高層次產(chǎn)品的開發(fā)并擴大應(yīng)用前景。

2項目背景

研究自然化的人機交互是當今計算機科學技術(shù)領(lǐng)域的主要研究熱點之一，手勢是一種自然、直觀、易于學習的人機交互手段,手勢輸入是實現(xiàn)自然、直接人機交互不可缺少的關(guān)鍵技術(shù)。目前的手勢識別技術(shù)主要分為基于數(shù)據(jù)手套和基于視覺兩種?；谝曈X的動態(tài)手勢識別系統(tǒng)更是當前科學研究領(lǐng)域的熱點之一。手勢輸入作為一種自然、豐富、直接的交互手段在人機交互技術(shù)中占有重要的地位。

盡管手勢識別技術(shù)的起步比較早，但絕大多數(shù)只是簡單的停留在軟件層次上，這些技術(shù)有的只是進行簡單的比對，速度比較慢，實時性比較差，另外一些這是識別效率較低。因此需要一個從硬件上著手，專門用來識別手勢的設(shè)備，以彌補上述兩個方面的不足。

以現(xiàn)場可編程門陣列FPGA作為核心器件來完成圖像的采集和預處理系統(tǒng)，該系統(tǒng)具有小型化、集成化且實時性好、靈活性高的特點。該系統(tǒng)將一些單調(diào)、不復雜、工作量大且耗費時間的處理交給FPGA來完成，不僅能充分利用FPGA速度高的優(yōu)越性，也能為DSP提供更多的時間進行更復雜的手勢圖像分析，使得手勢識別的結(jié)果更為可靠，提高了整個系統(tǒng)的性能。近幾年具有乘法器及內(nèi)存塊資源的大容量FPGA以及基于IP核嵌入的FPGA開發(fā)技術(shù)的出現(xiàn),可以將嵌入式微處理器、專用字器件和高速DSP以IP核的形式方便地嵌FPGA,以硬件編程的方法實現(xiàn)高速信號處理算法。本文的目的在于如何利用DSP和FPGA各自的優(yōu)勢,設(shè)計出滿足實時手勢識別處理要求的硬件平臺。

綜述，本文提出的高速基于DSP+FPGA架構(gòu)的手勢識別系統(tǒng)的設(shè)計，它綜合了FPGA和DSP的優(yōu)點，通過DSP和FPGA在處理不同結(jié)構(gòu)算法的優(yōu)勢，大大提高了手勢識別的速度和準確率。

3應(yīng)用前景

手勢識別技術(shù)的應(yīng)用范圍很廣泛，主要有以下幾個方面：

1、用于虛擬環(huán)境的交互。如虛擬制造和虛擬裝配、產(chǎn)品設(shè)計等。虛擬裝配通過手的運動直接進行零件的裝配,同時通過手勢與語音的合成來靈活的定義零件之間的裝配關(guān)系。還可以將手勢識別用于復雜設(shè)計信息的輸入;2、智能家居、多媒體設(shè)備的控制。通過手勢識別可以是使用者通過簡單的顯而易見的手勢對多媒體、家具設(shè)備實現(xiàn)控制，如開關(guān)空調(diào)、多媒體展示等;

3、用于多通道、多媒體用戶界面。正如鼠標沒有取代鍵盤,手勢輸入也不能取代鍵盤、鼠標等傳統(tǒng)交互設(shè)備，手勢非常適合于指點、表達形狀、幾何變換和裝配等任務(wù)。語音對于表達抽象概念及離散屬性(或命令)是具有絕對優(yōu)勢的,而且可以涉及視覺不及的對象。視線應(yīng)用于人機交互在目標選擇等方面具有直接性、自然性和雙向性等特點。將手勢輸入和這些交互通道結(jié)合,將增強現(xiàn)有的人機交互模式,從而實現(xiàn)更為直接、自然、和諧的人機接口。這種多模式的人機交互技術(shù)已經(jīng)成為當前研究的熱點,多通道人機界面將在可預見的將來占主導地位,并進一步促進虛擬現(xiàn)實技術(shù)的發(fā)展;

4、聾啞患者與正常人的交流。手語是聾啞人使用，的語言,是由手型動作輔之以表情姿勢由符號構(gòu)成的比較穩(wěn)定的表達系統(tǒng),是一種靠動作/視覺交際的語言。手勢識別可以讓機器“看懂”聾人的手語。識別手語和手語合成相結(jié)合,構(gòu)成一個“人-機手語翻譯系統(tǒng)”便于聾人與周圍環(huán)境的交流;

4系統(tǒng)設(shè)計方案

通過攝像頭采集手勢圖像，將圖像數(shù)據(jù)存儲到SDRAM中， FPGA處理系統(tǒng)通過對SDRAM的控制，實現(xiàn)云臺控制和攝像頭聚焦，且將圖像數(shù)據(jù)按照所需時序從SDRAM中將數(shù)據(jù)讀出，并進行銳化、與背景分離、消除噪聲以及等預處理，再將預處理后的數(shù)據(jù)送到MicroBlaze處理器中，在MicroBlaze處理器中對手勢圖像進行復雜的手勢識別處理，完成手勢分割、手勢識別，并將識別出的手勢信息實時傳給FPGA，由FPGA實時顯示在顯示設(shè)備上。

4.1設(shè)計框圖

4.2系統(tǒng)設(shè)計

FPGA是整個系統(tǒng)的時序控制中心和數(shù)據(jù)交換橋梁，而且能夠?qū)崿F(xiàn)對底層的信號快速預處理。在很多信號處理系統(tǒng)中，底層的信號預處理算法要處理的數(shù)據(jù)量很大，對處理速度要求很高，但算法結(jié)構(gòu)相對比較簡單，適于用FPGA進行硬件編程實現(xiàn)。而高層處理算法的特點是數(shù)據(jù)量較低，但算法控制結(jié)構(gòu)復雜，適于用運算速度快、尋址靈活、通信機制強大的DSP芯片來實現(xiàn)。

4.2.1圖像采集模塊

普通固定式攝像頭不能調(diào)整方向，難以對移動中的目標進行實時的抓取、捕獲，不能滿足本項目對手勢圖像采集的要求。我們擬采用通過控制云臺來實現(xiàn)對手勢的實時精確抓取。先通過幾何人臉識別的方法識別出目標者，然后通過調(diào)節(jié)云臺上的水平與垂直兩個電機來調(diào)節(jié)攝像頭的方向，最大限度的采集目標者的圖像，然后再通過光學變焦，使目標者清晰成像，這樣可以在更大范圍內(nèi)獲得包含手勢的目標者的圖像，從而能夠更加精確的提取手勢圖像，進行手勢分割，增加手勢識別的精度。

一體化攝像機內(nèi)置光學鏡頭，具有變倍、自動聚焦功能的攝像機，其結(jié)構(gòu)小巧、使用方便、監(jiān)控范圍廣。變焦控制可實現(xiàn)圖像的變倍、自動聚焦，是一體化攝像機中的關(guān)鍵技術(shù)之一。步進電機可將電脈沖信號轉(zhuǎn)換成角位移，每接收一個脈沖信號就可驅(qū)動步進電機轉(zhuǎn)動一個固定角度，實現(xiàn)物體的準確定位，通過控制脈沖的頻率可控制電機轉(zhuǎn)動的速度，步進電機已廣泛應(yīng)用于高精度控制系統(tǒng)中。一體化攝像機光學鏡頭中包含變倍步進電機與聚焦步進電機，變倍電機轉(zhuǎn)動時，為使圖像聚焦清晰，聚焦電機也應(yīng)隨之轉(zhuǎn)動，具體轉(zhuǎn)動步數(shù)與物距有關(guān)，具體參數(shù)可由鏡頭生產(chǎn)廠家提供的變焦跟蹤曲線獲得。為了適應(yīng)不同物距的清晰成像，變倍跟蹤結(jié)束后，配合自動聚焦，以顯示清晰的圖像。

可通過人臉幾何特征識別算法識別出目標者，幾何特征的人臉識別方法：幾何特征可以是眼、鼻、嘴等的形狀和它們之間的幾何關(guān)系(如相互之間的距離)。這些算法識別速度快，需要的內(nèi)存小，識別率較低，但是可以滿足方向調(diào)節(jié)的需求。

4.2.2 FPGA預處理模塊

圖像計算模塊讀取參數(shù)表數(shù)據(jù),FPGA對采集模塊輸入并存儲在外部原始圖像SRAM中的原始圖像數(shù)據(jù)進行計算處理,并將處理好的圖像數(shù)據(jù)存儲到結(jié)果圖像SDRAM中，最后，F(xiàn)PGA內(nèi)部的圖像輸出模塊從結(jié)果圖像SDRAM中將處理后的圖像數(shù)據(jù)讀出。