多點觸控技術(shù)

觸控技術(shù)我們并不陌生，早就有了。銀行的取款機大多是觸摸屏，很多醫(yī)院、圖書館等的大廳都有這種觸控技術(shù)的電腦。而支持觸摸屏的手機、MP3、數(shù)碼相機也很多。觸控技術(shù)，用手指代替了鍵盤、鼠標(biāo)，既顯示出了最大的人性化，又在特定的場合減少了鼠標(biāo)、鍵盤的空間。但是這些已經(jīng)存在的觸控屏幕都是單點觸控，也可以說是電阻式觸控。他的缺點主要是只能識別和支持每次一個手指的觸控、點擊，若同時有兩個以上的點被觸碰，就不能做出正確反應(yīng)。

而多點觸控技術(shù)能把任務(wù)分解為兩個方面的工作，一是同時采集多點信號，二是對每路信號的意義進行判斷，也就是所謂的手勢識別，從而實現(xiàn)屏幕識別人的五個手指同時做的點擊、觸控動作。

iPhone為什么這么熱銷，關(guān)鍵就是它的多點觸控屏技術(shù)，這個對于其他手機廠家來說是很致命的。蘋果公司已經(jīng)為多點觸控技術(shù)申請了兩個專利。

多點觸控技術(shù)并不是那么容易實現(xiàn)的，它是從硬件到軟件的一個有機的整體，可以說是一個系統(tǒng)工程。多點觸控技術(shù)由硬件和軟件兩部分組成，如圖1所示。硬件就是多點觸控平臺，完成信號的采集;軟件部分是在硬件平臺采集數(shù)據(jù)基礎(chǔ)上進行觸點的檢測定位、跟蹤、手勢定義與識別，最后將識別出的手勢映射為面向具體應(yīng)用的用戶指令。其中身份識別技術(shù)貫串整個軟件實現(xiàn)過程。

圖1 多點觸控技術(shù)的關(guān)鍵技術(shù)

硬件平臺

目前，多點觸控的硬件平臺有電容式、紅外式、受抑全內(nèi)反射(frustrated total internal reflection，F(xiàn)TIR)式、散射照明(Diffused Illumination，DI)式、激光平面(Laser Light Plane，LLP)式、散射式表明照明(Diffused Surface Illumination，DSI)式、發(fā)光二極管平面多點觸摸技術(shù)(LED Light Plane，LED-LP)等技術(shù)。每種技術(shù)都有其優(yōu)缺點，基于現(xiàn)有的多點觸控平臺存在的各種優(yōu)點和缺陷，有助于研制成本更加低廉、安裝移植更加方便、定位更加精確的交互式平臺，以及與此平臺無關(guān)的其他交互式技術(shù)。

遮擋分析

現(xiàn)有多點觸控平臺中，基于電容耦合電流或者基于紅外的多觸點檢測的精度取決于傳感器陣列的密度;而基于FTIR和多攝像頭等檢測方法都是基于計算機視覺技術(shù)的，如何完整地分割出觸點輪廓進而實現(xiàn)觸點的檢測和定位本身就是計算機視覺技術(shù)領(lǐng)域的難點。

觸點檢測

多點觸控平臺在檢測和定位出多個觸點后，還需要對每個觸點進行跟蹤，記錄每個觸點的軌跡信息，再作基于軌跡的動態(tài)手勢識別，才能實現(xiàn)基于手勢的自由交互。多重觸控平臺所檢測出的目標(biāo)大都沒有顏色和紋理特征，形狀特征也相似，因此傳統(tǒng)的基于圖像特征的多目標(biāo)跟蹤方法不再適用。將主要根據(jù)觸點的運動軌跡信息如用戶手指運動的先驗知識進行運動估計，此外還需充分利用多攝像頭的物理位置關(guān)系約束對多攝像頭進行一致性標(biāo)記，從而實現(xiàn)多攝像頭多目標(biāo)的跟蹤。研究內(nèi)容包括同一傳感器前后采樣時間檢測到的多目標(biāo)之間的一致性標(biāo)記，以及不同傳感器之間多目標(biāo)之間的一致性標(biāo)記。

手勢定義

多點觸控技術(shù)最大的優(yōu)點就是能實現(xiàn)基于手勢的自由交互，手勢定義是其中的關(guān)鍵基礎(chǔ)。實際應(yīng)用中用戶的手勢與應(yīng)用背景是緊密相關(guān)的，所以在強調(diào)通用性的同時也應(yīng)重視應(yīng)用的導(dǎo)向作用。手勢的定義過程應(yīng)當(dāng)首先提取用戶意圖，即在特定的應(yīng)用環(huán)境下用戶想要完成何種語義功能，然后確定用戶要實現(xiàn)的功能通過何種手勢來完成，并將手勢分解為多個原子手勢的組合，最終用戶的一個意圖被轉(zhuǎn)換為一系列原子手勢在特定關(guān)系下的組合。

手勢識別

多點觸控系統(tǒng)中的手勢識別是基于觸點運動軌跡的動態(tài)手勢識別，其中動態(tài)手勢對應(yīng)著模型參數(shù)空間里的一條軌跡，涉及時間上下文和空間上下文，且不同用戶做手勢時存在的速率差異、熟練程度會在軌跡的時間軸上引起非線性波動。如何消除這些非線性波動是動態(tài)手勢識別技術(shù)必須克服的一個重要問題。

考慮到對時間軸的不同處理，現(xiàn)有的動態(tài)手勢識別技術(shù)可以分歸三類：基于隱馬爾可夫模型(Hidden Markov Models, HMM)的識別、基于動態(tài)時間規(guī)整(Dynamic Time Warping, DTW)的識別、基于壓縮時間軸的識別。

身份識別

現(xiàn)有多點觸控技術(shù)檢測到的觸點大都不攜帶用戶信息，目前已知HTC的Diamond Touch平臺也最多只能識別四個用戶，而且多重觸控技術(shù)未來的一個重要應(yīng)用模式將是大尺寸交互區(qū)上多用戶的協(xié)同。因此必須實現(xiàn)觸點的用戶身份識別，而且除了識別觸點來源于某個用戶外，有些應(yīng)用還需要識別觸點來源于用戶的哪只手，這是多點觸控技術(shù)最難解決的問題。

多點觸控硬件部分技術(shù)的分類

LLP技術(shù)

主要運用紅外激光設(shè)備把紅外線投影到屏幕上。當(dāng)屏幕被阻擋時，紅外線便會反射，而屏幕下的攝影機則會捕捉反射去向。再經(jīng)系統(tǒng)分析，便可作出反應(yīng)。

FTIR技術(shù)

多點觸控它會在屏幕的夾層中加入LED光線，當(dāng)用戶按下屏幕時，便會使夾層的光線造成不同的反射效果，感應(yīng)器接收光線變化而捕捉用戶的施力點，從而作出反應(yīng)。

如圖2所示，由LED(發(fā)光二極管)發(fā)出的光束從觸摸屏截面照向屏幕的表面后，將產(chǎn)生反射。如果屏幕表層是空氣，當(dāng)入射光的角度滿足一定條件時，光就會在屏幕表面完全反射。但是如果有個折射率比較高的物質(zhì)(例如手指)壓住丙烯酸材料面板，屏幕表面全反射的條件就會被打破，部分光束透過表面，投射到手指表面。凹凸不平的手指表面導(dǎo)致光束產(chǎn)生散射(漫反射)，散射光透過觸摸屏后到達(dá)光電傳感器，光電傳感器將光信號轉(zhuǎn)變?yōu)殡娦盘枺到y(tǒng)由此獲得相應(yīng)的觸摸信息。

由于多個觸點同時響應(yīng)，新型觸摸屏充分釋放了人手的控制潛力。不再像鼠標(biāo)那樣，一只手僅能夠操作一個點，而多點觸控技術(shù)是一種具有高度自由性的真正的多點控制界面。