多點(diǎn)觸控技術(shù)

觸控技術(shù)我們并不陌生，早就有了。銀行的取款機(jī)大多是觸摸屏，很多醫(yī)院、圖書(shū)館等的大廳都有這種觸控技術(shù)的電腦。而支持觸摸屏的手機(jī)、MP3、數(shù)碼相機(jī)也很多。觸控技術(shù)，用手指代替了鍵盤(pán)、鼠標(biāo)，既顯示出了最大的人性化，又在特定的場(chǎng)合減少了鼠標(biāo)、鍵盤(pán)的空間。但是這些已經(jīng)存在的觸控屏幕都是單點(diǎn)觸控，也可以說(shuō)是電阻式觸控。他的缺點(diǎn)主要是只能識(shí)別和支持每次一個(gè)手指的觸控、點(diǎn)擊，若同時(shí)有兩個(gè)以上的點(diǎn)被觸碰，就不能做出正確反應(yīng)。

而多點(diǎn)觸控技術(shù)能把任務(wù)分解為兩個(gè)方面的工作，一是同時(shí)采集多點(diǎn)信號(hào)，二是對(duì)每路信號(hào)的意義進(jìn)行判斷，也就是所謂的手勢(shì)識(shí)別，從而實(shí)現(xiàn)屏幕識(shí)別人的五個(gè)手指同時(shí)做的點(diǎn)擊、觸控動(dòng)作。

iPhone為什么這么熱銷(xiāo)，關(guān)鍵就是它的多點(diǎn)觸控屏技術(shù)，這個(gè)對(duì)于其他手機(jī)廠家來(lái)說(shuō)是很致命的。蘋(píng)果公司已經(jīng)為多點(diǎn)觸控技術(shù)申請(qǐng)了兩個(gè)專利。

多點(diǎn)觸控技術(shù)并不是那么容易實(shí)現(xiàn)的，它是從硬件到軟件的一個(gè)有機(jī)的整體，可以說(shuō)是一個(gè)系統(tǒng)工程。多點(diǎn)觸控技術(shù)由硬件和軟件兩部分組成，如圖1所示。硬件就是多點(diǎn)觸控平臺(tái)，完成信號(hào)的采集;軟件部分是在硬件平臺(tái)采集數(shù)據(jù)基礎(chǔ)上進(jìn)行觸點(diǎn)的檢測(cè)定位、跟蹤、手勢(shì)定義與識(shí)別，最后將識(shí)別出的手勢(shì)映射為面向具體應(yīng)用的用戶指令。其中身份識(shí)別技術(shù)貫串整個(gè)軟件實(shí)現(xiàn)過(guò)程。

圖1 多點(diǎn)觸控技術(shù)的關(guān)鍵技術(shù)

硬件平臺(tái)

目前，多點(diǎn)觸控的硬件平臺(tái)有電容式、紅外式、受抑全內(nèi)反射(frustrated total internal reflection，F(xiàn)TIR)式、散射照明(Diffused Illumination，DI)式、激光平面(Laser Light Plane，LLP)式、散射式表明照明(Diffused Surface Illumination，DSI)式、發(fā)光二極管平面多點(diǎn)觸摸技術(shù)(LED Light Plane，LED-LP)等技術(shù)。每種技術(shù)都有其優(yōu)缺點(diǎn)，基于現(xiàn)有的多點(diǎn)觸控平臺(tái)存在的各種優(yōu)點(diǎn)和缺陷，有助于研制成本更加低廉、安裝移植更加方便、定位更加精確的交互式平臺(tái)，以及與此平臺(tái)無(wú)關(guān)的其他交互式技術(shù)。

遮擋分析

現(xiàn)有多點(diǎn)觸控平臺(tái)中，基于電容耦合電流或者基于紅外的多觸點(diǎn)檢測(cè)的精度取決于傳感器陣列的密度;而基于FTIR和多攝像頭等檢測(cè)方法都是基于計(jì)算機(jī)視覺(jué)技術(shù)的，如何完整地分割出觸點(diǎn)輪廓進(jìn)而實(shí)現(xiàn)觸點(diǎn)的檢測(cè)和定位本身就是計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域的難點(diǎn)。

觸點(diǎn)檢測(cè)

多點(diǎn)觸控平臺(tái)在檢測(cè)和定位出多個(gè)觸點(diǎn)后，還需要對(duì)每個(gè)觸點(diǎn)進(jìn)行跟蹤，記錄每個(gè)觸點(diǎn)的軌跡信息，再作基于軌跡的動(dòng)態(tài)手勢(shì)識(shí)別，才能實(shí)現(xiàn)基于手勢(shì)的自由交互。多重觸控平臺(tái)所檢測(cè)出的目標(biāo)大都沒(méi)有顏色和紋理特征，形狀特征也相似，因此傳統(tǒng)的基于圖像特征的多目標(biāo)跟蹤方法不再適用。將主要根據(jù)觸點(diǎn)的運(yùn)動(dòng)軌跡信息如用戶手指運(yùn)動(dòng)的先驗(yàn)知識(shí)進(jìn)行運(yùn)動(dòng)估計(jì)，此外還需充分利用多攝像頭的物理位置關(guān)系約束對(duì)多攝像頭進(jìn)行一致性標(biāo)記，從而實(shí)現(xiàn)多攝像頭多目標(biāo)的跟蹤。研究?jī)?nèi)容包括同一傳感器前后采樣時(shí)間檢測(cè)到的多目標(biāo)之間的一致性標(biāo)記，以及不同傳感器之間多目標(biāo)之間的一致性標(biāo)記。

手勢(shì)定義

多點(diǎn)觸控技術(shù)最大的優(yōu)點(diǎn)就是能實(shí)現(xiàn)基于手勢(shì)的自由交互，手勢(shì)定義是其中的關(guān)鍵基礎(chǔ)。實(shí)際應(yīng)用中用戶的手勢(shì)與應(yīng)用背景是緊密相關(guān)的，所以在強(qiáng)調(diào)通用性的同時(shí)也應(yīng)重視應(yīng)用的導(dǎo)向作用。手勢(shì)的定義過(guò)程應(yīng)當(dāng)首先提取用戶意圖，即在特定的應(yīng)用環(huán)境下用戶想要完成何種語(yǔ)義功能，然后確定用戶要實(shí)現(xiàn)的功能通過(guò)何種手勢(shì)來(lái)完成，并將手勢(shì)分解為多個(gè)原子手勢(shì)的組合，最終用戶的一個(gè)意圖被轉(zhuǎn)換為一系列原子手勢(shì)在特定關(guān)系下的組合。

手勢(shì)識(shí)別

多點(diǎn)觸控系統(tǒng)中的手勢(shì)識(shí)別是基于觸點(diǎn)運(yùn)動(dòng)軌跡的動(dòng)態(tài)手勢(shì)識(shí)別，其中動(dòng)態(tài)手勢(shì)對(duì)應(yīng)著模型參數(shù)空間里的一條軌跡，涉及時(shí)間上下文和空間上下文，且不同用戶做手勢(shì)時(shí)存在的速率差異、熟練程度會(huì)在軌跡的時(shí)間軸上引起非線性波動(dòng)。如何消除這些非線性波動(dòng)是動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)必須克服的一個(gè)重要問(wèn)題。

考慮到對(duì)時(shí)間軸的不同處理，現(xiàn)有的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)可以分歸三類(lèi)：基于隱馬爾可夫模型(Hidden Markov Models, HMM)的識(shí)別、基于動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping, DTW)的識(shí)別、基于壓縮時(shí)間軸的識(shí)別。

身份識(shí)別

現(xiàn)有多點(diǎn)觸控技術(shù)檢測(cè)到的觸點(diǎn)大都不攜帶用戶信息，目前已知HTC的Diamond Touch平臺(tái)也最多只能識(shí)別四個(gè)用戶，而且多重觸控技術(shù)未來(lái)的一個(gè)重要應(yīng)用模式將是大尺寸交互區(qū)上多用戶的協(xié)同。因此必須實(shí)現(xiàn)觸點(diǎn)的用戶身份識(shí)別，而且除了識(shí)別觸點(diǎn)來(lái)源于某個(gè)用戶外，有些應(yīng)用還需要識(shí)別觸點(diǎn)來(lái)源于用戶的哪只手，這是多點(diǎn)觸控技術(shù)最難解決的問(wèn)題。

多點(diǎn)觸控硬件部分技術(shù)的分類(lèi)

LLP技術(shù)

主要運(yùn)用紅外激光設(shè)備把紅外線投影到屏幕上。當(dāng)屏幕被阻擋時(shí)，紅外線便會(huì)反射，而屏幕下的攝影機(jī)則會(huì)捕捉反射去向。再經(jīng)系統(tǒng)分析，便可作出反應(yīng)。

FTIR技術(shù)

多點(diǎn)觸控它會(huì)在屏幕的夾層中加入LED光線，當(dāng)用戶按下屏幕時(shí)，便會(huì)使夾層的光線造成不同的反射效果，感應(yīng)器接收光線變化而捕捉用戶的施力點(diǎn)，從而作出反應(yīng)。

如圖2所示，由LED(發(fā)光二極管)發(fā)出的光束從觸摸屏截面照向屏幕的表面后，將產(chǎn)生反射。如果屏幕表層是空氣，當(dāng)入射光的角度滿足一定條件時(shí)，光就會(huì)在屏幕表面完全反射。但是如果有個(gè)折射率比較高的物質(zhì)(例如手指)壓住丙烯酸材料面板，屏幕表面全反射的條件就會(huì)被打破，部分光束透過(guò)表面，投射到手指表面。凹凸不平的手指表面導(dǎo)致光束產(chǎn)生散射(漫反射)，散射光透過(guò)觸摸屏后到達(dá)光電傳感器，光電傳感器將光信號(hào)轉(zhuǎn)變?yōu)殡娦盘?hào)，系統(tǒng)由此獲得相應(yīng)的觸摸信息。

由于多個(gè)觸點(diǎn)同時(shí)響應(yīng)，新型觸摸屏充分釋放了人手的控制潛力。不再像鼠標(biāo)那樣，一只手僅能夠操作一個(gè)點(diǎn)，而多點(diǎn)觸控技術(shù)是一種具有高度自由性的真正的多點(diǎn)控制界面。