基于多特征SVMs分類器的手語(yǔ)識(shí)別的研究

　　七個(gè)不變矩由二階和三階中心矩的線性組合構(gòu)成，具體表達(dá)式如下：

　　實(shí)驗(yàn)中，使用了全部的7Hu不變矩特征量作為手語(yǔ)圖像整體形狀描述的特征向量。形成特征空間(M1, M2, M3, M4, M5, M6, M7)，如表1所示。

　　表1手語(yǔ)字母X，Y，Z的7Hu矩分量

　　SIFT特征

　　David G.Lowe在2004年總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測(cè)方法，并正式提出了一種基于尺度空間的、對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子-SIFT算子[6,11]，即尺度不變特征變換。

　　SIFT算法首先在尺度空間進(jìn)行特征檢測(cè)，并確定關(guān)鍵點(diǎn)(Keypoints)的位置和關(guān)鍵點(diǎn)所處的尺度，然后使用關(guān)鍵點(diǎn)鄰域梯度的主方向作為該點(diǎn)的方向特征，以實(shí)現(xiàn)算子對(duì)尺度和方向的無關(guān)性。

　　Lowe在圖像二維平面空間和DoG(Difference of Gaussian)尺度空間中同時(shí)檢測(cè)局部極值以作為特征點(diǎn)，以使特征具備良好的獨(dú)特性和穩(wěn)定性。DoG算子定義為兩個(gè)不同尺度的高斯核的差分，其具有計(jì)算簡(jiǎn)單的特點(diǎn)，是歸一化LoG (Laplacian of Gaussian)算子的近似。DoG算子如下式所示：

　　對(duì)于圖像上的點(diǎn)，計(jì)算其在每一尺度下DoG算子的響應(yīng)值，這些值連起來得到特征尺度軌跡曲線。特征尺度曲線的局部極值點(diǎn)即為該特征的尺度。尺度軌跡曲線上完全可能存在多個(gè)局部極值點(diǎn)，這時(shí)可認(rèn)為該點(diǎn)有多個(gè)特征尺度。

　　一幅圖像SIFT特征向量的生成算法總共包括4步：

　　(1)尺度空間極值檢測(cè)，初步確定關(guān)鍵點(diǎn)位置和所在尺度。

　　(2)通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈oG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng))，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力[6,11]。

　　(3)利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

　　式(14)為(x,y)處梯度的模值和方向公式。其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度。

　　(4)生成SIFT特征向量。 首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。接下來以關(guān)鍵點(diǎn)為中心取8×8的窗口。然后在每4×4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)種子點(diǎn)。手語(yǔ)字母圖像的SIFT特征提取如圖2所示。

　　圖2 (a)手語(yǔ)字母J原圖 (b)對(duì)(a)提取SIFT特征向量

　　實(shí)驗(yàn)

　　本文從視頻中采集了中國(guó)手語(yǔ)字母表中的30個(gè)手語(yǔ)字母的圖像，30組，每組圖像195幅，共5850幅圖像作為實(shí)驗(yàn)圖像。每組的前50幅作為正例訓(xùn)練樣本，從其他29組中各選取5幅共145幅作為反例訓(xùn)練樣本。每類圖像除選作正例的50圖像外，剩余的145幅作為測(cè)試圖像。實(shí)驗(yàn)中首先提取圖像的7維不變矩特征量，48維Gabor紋理特征，128維SIFT特征作為圖像全局和局部特征描述。然后分別采用兩種不同核函數(shù)(Linear kernel, Radical Basis Function)的SVMs分類器進(jìn)行訓(xùn)練，對(duì)中國(guó)手語(yǔ)字母表中的30個(gè)手語(yǔ)字母圖像的識(shí)別結(jié)果如表2所示。

　　表2 30個(gè)中國(guó)手語(yǔ)字母的識(shí)別結(jié)果

　　基于線性核函數(shù)的SVM平均識(shí)別率為95.556%，基于徑向基核函數(shù)的SVM平均識(shí)別率為83.1282%。實(shí)驗(yàn)表明，采用徑向基核函數(shù)的SVM識(shí)別率普遍低于采用線性核函數(shù)的SVM。

　　結(jié)語(yǔ)

　　本文提出了一種采用7Hu不變矩特征量等多種圖像特征相融合的SVMs手語(yǔ)識(shí)別方法。實(shí)驗(yàn)表明，在手語(yǔ)識(shí)別中，采用圖像全局和局部特征相結(jié)合的方法，可獲得較高的識(shí)別率，為手語(yǔ)識(shí)別方法的早日推廣應(yīng)用提供了理論依據(jù)。