史上最牛高速手勢(shì)識(shí)別系統(tǒng)解決方案

　　1設(shè)計(jì)摘要

　　目前，研究自然化的人機(jī)交互是當(dāng)今計(jì)算機(jī)科學(xué)技術(shù)領(lǐng)域的主要研究熱點(diǎn)之一，手勢(shì)輸入作為一種自然、豐富、直接的交互手段在人機(jī)交互技術(shù)中占有重要的地位。本項(xiàng)目提出以Xilinx公司Spartan 6系列FPGA為核心器件的手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)的方案，采用FPGA芯片的內(nèi)置DSP硬核作為手勢(shì)識(shí)別模塊的核心,負(fù)責(zé)圖像識(shí)別算法的實(shí)現(xiàn)，采用FPGA作為圖像采集模塊的控制中心,負(fù)責(zé)圖像的采集,完成預(yù)處理和攝像頭聚焦和云臺(tái)的控制工作，以FPGA高速強(qiáng)大的處理能力保證了系統(tǒng)的實(shí)時(shí)性。手勢(shì)識(shí)別部分融合人手顏色信息和手勢(shì)運(yùn)動(dòng)信息，利用種子算法對(duì)復(fù)雜背景下的手勢(shì)進(jìn)行分割。根據(jù)分割出的手勢(shì)區(qū)域大大加速了運(yùn)動(dòng)特征參數(shù)的提取,并結(jié)合手勢(shì)區(qū)域的形狀特征,建立手勢(shì)的時(shí)空表觀模型。識(shí)別時(shí)，采用獨(dú)立分布的多狀態(tài)高斯概率模型，進(jìn)行時(shí)間規(guī)整，通過DSP和FPGA在處理不同結(jié)構(gòu)算法的優(yōu)勢(shì), 大大提高了手勢(shì)識(shí)別的處理速度和準(zhǔn)確性。高速性將是該手勢(shì)識(shí)別系統(tǒng)最突出的優(yōu)點(diǎn)，可實(shí)現(xiàn)更高層次產(chǎn)品的開發(fā)并擴(kuò)大應(yīng)用前景。

　　2項(xiàng)目背景

　　研究自然化的人機(jī)交互是當(dāng)今計(jì)算機(jī)科學(xué)技術(shù)領(lǐng)域的主要研究熱點(diǎn)之一，手勢(shì)是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互手段,手勢(shì)輸入是實(shí)現(xiàn)自然、直接人機(jī)交互不可缺少的關(guān)鍵技術(shù)。目前的手勢(shì)識(shí)別技術(shù)主要分為基于數(shù)據(jù)手套和基于視覺兩種?；谝曈X的動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)更是當(dāng)前科學(xué)研究領(lǐng)域的熱點(diǎn)之一。手勢(shì)輸入作為一種自然、豐富、直接的交互手段在人機(jī)交互技術(shù)中占有重要的地位。

　　盡管手勢(shì)識(shí)別技術(shù)的起步比較早，但絕大多數(shù)只是簡單的停留在軟件層次上，這些技術(shù)有的只是進(jìn)行簡單的比對(duì)，速度比較慢，實(shí)時(shí)性比較差，另外一些這是識(shí)別效率較低。因此需要一個(gè)從硬件上著手，專門用來識(shí)別手勢(shì)的設(shè)備，以彌補(bǔ)上述兩個(gè)方面的不足。

　　以現(xiàn)場可編程門陣列FPGA作為核心器件來完成圖像的采集和預(yù)處理系統(tǒng)，該系統(tǒng)具有小型化、集成化且實(shí)時(shí)性好、靈活性高的特點(diǎn)。該系統(tǒng)將一些單調(diào)、不復(fù)雜、工作量大且耗費(fèi)時(shí)間的處理交給FPGA來完成，不僅能充分利用FPGA速度高的優(yōu)越性，也能為DSP提供更多的時(shí)間進(jìn)行更復(fù)雜的手勢(shì)圖像分析，使得手勢(shì)識(shí)別的結(jié)果更為可靠，提高了整個(gè)系統(tǒng)的性能。近幾年具有乘法器及內(nèi)存塊資源的大容量FPGA以及基于IP核嵌入的FPGA開發(fā)技術(shù)的出現(xiàn),可以將嵌入式微處理器、專用字器件和高速DSP以IP核的形式方便地嵌FPGA,以硬件編程的方法實(shí)現(xiàn)高速信號(hào)處理算法。本文的目的在于如何利用DSP和FPGA各自的優(yōu)勢(shì),設(shè)計(jì)出滿足實(shí)時(shí)手勢(shì)識(shí)別處理要求的硬件平臺(tái)。

　　綜述，本文提出的高速基于DSP+FPGA架構(gòu)的手勢(shì)識(shí)別系統(tǒng)的設(shè)計(jì)，它綜合了FPGA和DSP的優(yōu)點(diǎn)，通過DSP和FPGA在處理不同結(jié)構(gòu)算法的優(yōu)勢(shì)，大大提高了手勢(shì)識(shí)別的速度和準(zhǔn)確率。

　　3應(yīng)用前景

　　手勢(shì)識(shí)別技術(shù)的應(yīng)用范圍很廣泛，主要有以下幾個(gè)方面：

　　1、用于虛擬環(huán)境的交互。如虛擬制造和虛擬裝配、產(chǎn)品設(shè)計(jì)等。虛擬裝配通過手的運(yùn)動(dòng)直接進(jìn)行零件的裝配,同時(shí)通過手勢(shì)與語音的合成來靈活的定義零件之間的裝配關(guān)系。還可以將手勢(shì)識(shí)別用于復(fù)雜設(shè)計(jì)信息的輸入;2、智能家居、多媒體設(shè)備的控制。通過手勢(shì)識(shí)別可以是使用者通過簡單的顯而易見的手勢(shì)對(duì)多媒體、家具設(shè)備實(shí)現(xiàn)控制，如開關(guān)空調(diào)、多媒體展示等;

　　3、用于多通道、多媒體用戶界面。正如鼠標(biāo)沒有取代鍵盤,手勢(shì)輸入也不能取代鍵盤、鼠標(biāo)等傳統(tǒng)交互設(shè)備，手勢(shì)非常適合于指點(diǎn)、表達(dá)形狀、幾何變換和裝配等任務(wù)。語音對(duì)于表達(dá)抽象概念及離散屬性(或命令)是具有絕對(duì)優(yōu)勢(shì)的,而且可以涉及視覺不及的對(duì)象。視線應(yīng)用于人機(jī)交互在目標(biāo)選擇等方面具有直接性、自然性和雙向性等特點(diǎn)。將手勢(shì)輸入和這些交互通道結(jié)合,將增強(qiáng)現(xiàn)有的人機(jī)交互模式,從而實(shí)現(xiàn)更為直接、自然、和諧的人機(jī)接口。這種多模式的人機(jī)交互技術(shù)已經(jīng)成為當(dāng)前研究的熱點(diǎn),多通道人機(jī)界面將在可預(yù)見的將來占主導(dǎo)地位,并進(jìn)一步促進(jìn)虛擬現(xiàn)實(shí)技術(shù)的發(fā)展;

　　4、聾啞患者與正常人的交流。手語是聾啞人使用，的語言,是由手型動(dòng)作輔之以表情姿勢(shì)由符號(hào)構(gòu)成的比較穩(wěn)定的表達(dá)系統(tǒng),是一種靠動(dòng)作/視覺交際的語言。手勢(shì)識(shí)別可以讓機(jī)器“看懂”聾人的手語。識(shí)別手語和手語合成相結(jié)合,構(gòu)成一個(gè)“人-機(jī)手語翻譯系統(tǒng)”便于聾人與周圍環(huán)境的交流;

　　4系統(tǒng)設(shè)計(jì)方案

　　通過攝像頭采集手勢(shì)圖像，將圖像數(shù)據(jù)存儲(chǔ)到SDRAM中， FPGA處理系統(tǒng)通過對(duì)SDRAM的控制，實(shí)現(xiàn)云臺(tái)控制和攝像頭聚焦，且將圖像數(shù)據(jù)按照所需時(shí)序從SDRAM中將數(shù)據(jù)讀出，并進(jìn)行銳化、與背景分離、消除噪聲以及等預(yù)處理，再將預(yù)處理后的數(shù)據(jù)送到MicroBlaze處理器中，在MicroBlaze處理器中對(duì)手勢(shì)圖像進(jìn)行復(fù)雜的手勢(shì)識(shí)別處理，完成手勢(shì)分割、手勢(shì)識(shí)別，并將識(shí)別出的手勢(shì)信息實(shí)時(shí)傳給FPGA，由FPGA實(shí)時(shí)顯示在顯示設(shè)備上。

　　4.1設(shè)計(jì)框圖

　　圖1 系統(tǒng)設(shè)計(jì)框圖

　　4.2系統(tǒng)設(shè)計(jì)

　　FPGA是整個(gè)系統(tǒng)的時(shí)序控制中心和數(shù)據(jù)交換橋梁，而且能夠?qū)崿F(xiàn)對(duì)底層的信號(hào)快速預(yù)處理。在很多信號(hào)處理系統(tǒng)中，底層的信號(hào)預(yù)處理算法要處理的數(shù)據(jù)量很大，對(duì)處理速度要求很高，但算法結(jié)構(gòu)相對(duì)比較簡單，適于用FPGA進(jìn)行硬件編程實(shí)現(xiàn)。而高層處理算法的特點(diǎn)是數(shù)據(jù)量較低，但算法控制結(jié)構(gòu)復(fù)雜，適于用運(yùn)算速度快、尋址靈活、通信機(jī)制強(qiáng)大的DSP芯片來實(shí)現(xiàn)。

　　4.2.1圖像采集模塊

　　普通固定式攝像頭不能調(diào)整方向，難以對(duì)移動(dòng)中的目標(biāo)進(jìn)行實(shí)時(shí)的抓取、捕獲，不能滿足本項(xiàng)目對(duì)手勢(shì)圖像采集的要求。我們擬采用通過控制云臺(tái)來實(shí)現(xiàn)對(duì)手勢(shì)的實(shí)時(shí)精確抓取。先通過幾何人臉識(shí)別的方法識(shí)別出目標(biāo)者，然后通過調(diào)節(jié)云臺(tái)上的水平與垂直兩個(gè)電機(jī)來調(diào)節(jié)攝像頭的方向，最大限度的采集目標(biāo)者的圖像，然后再通過光學(xué)變焦，使目標(biāo)者清晰成像，這樣可以在更大范圍內(nèi)獲得包含手勢(shì)的目標(biāo)者的圖像，從而能夠更加精確的提取手勢(shì)圖像，進(jìn)行手勢(shì)分割，增加手勢(shì)識(shí)別的精度。

　　一體化攝像機(jī)內(nèi)置光學(xué)鏡頭，具有變倍、自動(dòng)聚焦功能的攝像機(jī)，其結(jié)構(gòu)小巧、使用方便、監(jiān)控范圍廣。變焦控制可實(shí)現(xiàn)圖像的變倍、自動(dòng)聚焦，是一體化攝像機(jī)中的關(guān)鍵技術(shù)之一。步進(jìn)電機(jī)可將電脈沖信號(hào)轉(zhuǎn)換成角位移，每接收一個(gè)脈沖信號(hào)就可驅(qū)動(dòng)步進(jìn)電機(jī)轉(zhuǎn)動(dòng)一個(gè)固定角度，實(shí)現(xiàn)物體的準(zhǔn)確定位，通過控制脈沖的頻率可控制電機(jī)轉(zhuǎn)動(dòng)的速度，步進(jìn)電機(jī)已廣泛應(yīng)用于高精度控制系統(tǒng)中。一體化攝像機(jī)光學(xué)鏡頭中包含變倍步進(jìn)電機(jī)與聚焦步進(jìn)電機(jī)，變倍電機(jī)轉(zhuǎn)動(dòng)時(shí)，為使圖像聚焦清晰，聚焦電機(jī)也應(yīng)隨之轉(zhuǎn)動(dòng)，具體轉(zhuǎn)動(dòng)步數(shù)與物距有關(guān)，具體參數(shù)可由鏡頭生產(chǎn)廠家提供的變焦跟蹤曲線獲得。為了適應(yīng)不同物距的清晰成像，變倍跟蹤結(jié)束后，配合自動(dòng)聚焦，以顯示清晰的圖像。

　　可通過人臉幾何特征識(shí)別算法識(shí)別出目標(biāo)者，幾何特征的人臉識(shí)別方法：幾何特征可以是眼、鼻、嘴等的形狀和它們之間的幾何關(guān)系(如相互之間的距離)。這些算法識(shí)別速度快，需要的內(nèi)存小，識(shí)別率較低，但是可以滿足方向調(diào)節(jié)的需求。

　　4.2.2 FPGA預(yù)處理模塊

　　圖像計(jì)算模塊讀取參數(shù)表數(shù)據(jù),FPGA對(duì)采集模塊輸入并存儲(chǔ)在外部原始圖像SRAM中的原始圖像數(shù)據(jù)進(jìn)行計(jì)算處理,并將處理好的圖像數(shù)據(jù)存儲(chǔ)到結(jié)果圖像SDRAM中，最后，F(xiàn)PGA內(nèi)部的圖像輸出模塊從結(jié)果圖像SDRAM中將處理后的圖像數(shù)據(jù)讀出。

　　4.2.3手勢(shì)識(shí)別模塊

　　手勢(shì)研究分為手勢(shì)合成和手勢(shì)識(shí)別。手勢(shì)識(shí)別技術(shù)分為基于數(shù)據(jù)手套和基于計(jì)算機(jī)視覺兩大類。本文針對(duì)基于視覺的手勢(shì)識(shí)別技術(shù),手勢(shì)是人手或者手和臂結(jié)合所產(chǎn)生的各種姿勢(shì)和動(dòng)作,它包括靜態(tài)手勢(shì)(指姿態(tài)，單個(gè)手形)和動(dòng)態(tài)手勢(shì)(指動(dòng)作，由一系列姿態(tài)組成)。靜態(tài)手勢(shì)對(duì)應(yīng)空間里的一個(gè)點(diǎn),而動(dòng)態(tài)手勢(shì)對(duì)應(yīng)著模型參數(shù)空間里的一條軌跡，需要使用隨時(shí)間變化的空間特征來表述。

　　本文提出了單目視覺技術(shù)中一種復(fù)雜背景下的手勢(shì)分割和識(shí)別方法。首先把運(yùn)動(dòng)著的手從復(fù)雜的背景中分割出來，然后提取運(yùn)動(dòng)和形狀特征參數(shù)，建立手勢(shì)的時(shí)空表觀模型，采用獨(dú)立分布的多狀態(tài)高斯概率模型進(jìn)行時(shí)間規(guī)整,最后得到識(shí)別結(jié)果，如圖2。

　　圖2 手勢(shì)識(shí)別框圖

　　手勢(shì)分割

　　手勢(shì)分割(Gesture Segmentation)是基于計(jì)算機(jī)視覺的,是指如何把手勢(shì)從手圖像中分離出來。在復(fù)雜背景情況下,手勢(shì)分割困難重重,還沒有成熟的理論作為指導(dǎo),現(xiàn)有的算法計(jì)算度高,效果也不理想。主要有以下幾種:(a)增加限制的方法,如使用黑色和白色的墻壁,深色的服裝等簡化背景,或者要求人手戴特殊的手套等強(qiáng)調(diào)前景,來簡化手勢(shì)區(qū)域與背景區(qū)域的劃分。(b)大容量手勢(shì)形狀數(shù)據(jù)庫方法,如密西根州立大學(xué)計(jì)算機(jī)系的CuiYuntao建立了一個(gè)數(shù)據(jù)庫,其中有各種手勢(shì)類在各個(gè)時(shí)刻不同位置不同比例的手型圖像,作為基于模板匹配識(shí)別方法的模板。(c)立體視覺的方法,如紐約哥倫比亞大學(xué)計(jì)算機(jī)系的Gluckman利用兩個(gè)不在同一平面鏡子的反射圖像,計(jì)算物體與攝像機(jī)之間的距離,根據(jù)距離信息分割出人手。

　　手部區(qū)域中，膚色概率高于一定閾值的像素用一種符號(hào)標(biāo)記，其他像素用另一種符號(hào)標(biāo)記。這樣，就可以得到一張關(guān)于手部區(qū)域的二值圖。在二值圖中，手連通區(qū)域里經(jīng)常會(huì)包含一些由于圖像噪音引起的空洞。需要對(duì)二值圖逐步求精。在此系統(tǒng)中，采用了形學(xué)分析中的小結(jié)構(gòu)閉運(yùn)算算子對(duì)分割圖進(jìn)行處理。通過區(qū)域合并與標(biāo)號(hào)的算法，可以計(jì)算出手部區(qū)域二值圖中的連通區(qū)域，選取面積最大的區(qū)域作為人手區(qū)域，就得到了平滑后的手部區(qū)域二值圖，進(jìn)而提取手勢(shì)輪廓。如圖3。

　　圖3 手勢(shì)區(qū)域二值圖

　?、谑謩?shì)模型

　　手勢(shì)模型對(duì)于手勢(shì)識(shí)別系統(tǒng)至關(guān)重要,特別是對(duì)確定識(shí)別范圍起關(guān)鍵性作用。模型的選取根本上取決于具體應(yīng)用,如果要實(shí)現(xiàn)自然的人機(jī)交互,那么必須建立一個(gè)精細(xì)有效的手勢(shì)模型,使得識(shí)別系統(tǒng)能夠?qū)τ脩羲龅慕^大多數(shù)手勢(shì)做出正確的反應(yīng)。目前,幾乎所有的手勢(shì)建模方法都可以歸結(jié)為兩大類:基于表觀的手勢(shì)建模和基于3D模型的手勢(shì)建模?；?D模型的手勢(shì)建模方法考慮了手勢(shì)產(chǎn)生的中間媒體(手和臂),遵循的建模過程:首先給手(和臂)的運(yùn)動(dòng)以及姿態(tài)建模,然后從運(yùn)動(dòng)和姿態(tài)模型參數(shù)估計(jì)手勢(shì)模型參數(shù)。

　　③手勢(shì)分析

　　手勢(shì)分析階段的任務(wù)就是估計(jì)選定的手勢(shì)模型的參數(shù)。一般由特征檢測和參數(shù)估計(jì)組成。在特征檢測過程中,首先必須定位做手勢(shì)的主體(人手)。定位技術(shù)有:ⅰ、基于顏色定位:利用限制性背景或者顏色手套。ⅱ、基于運(yùn)動(dòng)的定位:這種定位技術(shù)通常跟某些假設(shè)一起使用。例如假設(shè)通常情況下只有一個(gè)人在做手勢(shì),并且手勢(shì)者相對(duì)于背景的運(yùn)動(dòng)量很小。ⅲ、基于多模式定位:例如利用運(yùn)動(dòng)和顏色信息的融合定位人手,優(yōu)點(diǎn)是能克服單個(gè)線索定位的局限。

　?、苁謩?shì)識(shí)別

　　現(xiàn)有的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)可以分歸三類：基于隱馬爾可夫模型(Hidden Markov Models, HMM)的識(shí)別,基于動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping, DTW)的識(shí)別,基于壓縮時(shí)間軸的識(shí)別。我們采取隱馬爾可夫模型來識(shí)別手勢(shì)，通過幾率的形式來對(duì)手勢(shì)特征建立相應(yīng)的模型，從而達(dá)到手勢(shì)識(shí)別的目的。

　　5可行性分析

　　5.1手勢(shì)識(shí)別算法

　　就目前情況來說，目前手勢(shì)識(shí)別算法已經(jīng)相當(dāng)成熟。通常手勢(shì)識(shí)別算法分為兩大模塊，即預(yù)處理模塊和識(shí)別模塊。

　　在預(yù)處理階段，主要是對(duì)圖像進(jìn)行銳化處理、與背景分離以及消除噪聲等操作。其中，銳化處理的目的是突出手勢(shì)圖像的邊緣輪廓，為此，我們采用拉普拉斯銳化算法：

　　這里的fxy和f*xy分別為處理前后對(duì)應(yīng)的像素分布。

　　此外，我們分別采用二值化處理和閾值面積消影法來圖像進(jìn)行分離和消除噪聲。

　　在識(shí)別階段，主要包括邊界特征值的提取和手勢(shì)的最終識(shí)別。對(duì)手部進(jìn)行特征提取時(shí)，我們選用六個(gè)自由度，即(x1,x2,x3,x4,x5,x6)。其中，x1：手指個(gè)數(shù);x2：指定手指;x3：指間距離集合

　　x4：指定手指關(guān)節(jié);x5：指定手指指根;x6：特定手勢(shì)的檢測。

　　對(duì)于最終的手勢(shì)識(shí)別，我們采用結(jié)構(gòu)分類的算法,對(duì)不同的手勢(shì)特征建立相應(yīng)的數(shù)據(jù)庫，其流程如下圖：

　　圖4 識(shí)別流程圖

　　Spartan-6提供了大量的邏輯資源，有高達(dá)14.7萬個(gè)邏輯單元，可通過對(duì)FPGA的編程實(shí)現(xiàn)更多的功能， 多重高效率集成模塊，可以在FPGA中通過編程實(shí)現(xiàn)微處理器、存儲(chǔ)管理、RAM管理、總線管理等模塊的構(gòu)建。

　　優(yōu)化 I/O 標(biāo)準(zhǔn)選擇，具有多電壓、多標(biāo)準(zhǔn) SelectIO™ 接口 bank，每對(duì)差分 I/O 的數(shù)據(jù)傳輸速率均高達(dá) 1,080Mb/s，可選輸出驅(qū)動(dòng)器，每個(gè)引腳的電流最高達(dá) 24mA，兼容 3.3V ～ 1.2V I/O 標(biāo)準(zhǔn)和協(xié)議， 符合熱插拔規(guī)范可調(diào) I/O 轉(zhuǎn)換速率，提高信號(hào)完整性;內(nèi)置高速 GTP 串行收發(fā)器，最高速度達(dá) 3.2Gb/s，支持高速接口，包括：串行 ATA、Aurora、1G 以太網(wǎng)、PCI，能夠充分滿足我們所要求的高速數(shù)據(jù)交換的要求。

　　Spartan-6 FPGA擁有定制低功耗專用的 DSP48A1 Slice，可進(jìn)行高性能算術(shù)與信號(hào)處理，每個(gè) DSP48A1 Slice 都由專用的 18 x 18 位二進(jìn)制補(bǔ)碼乘法器和 48 位累加器組成，二者均可在最高 390MHz 的速率下運(yùn)行。DSP48A1 Slice 可提供廣泛而豐富的流水線和擴(kuò)展功能，能夠?yàn)楸姸鄳?yīng)用提升速度與效率，甚至超越數(shù)字信號(hào)處理的范疇，比如寬動(dòng)態(tài)總線移位器、存儲(chǔ)器地址生成器、寬總線多路 復(fù)用器以及存儲(chǔ)器映射的 I/O 寄存器文件等。此外，累加器還可用作同步向上/向下計(jì)數(shù)器。乘法器能夠執(zhí)行桶形移位。這樣的優(yōu)點(diǎn)可以加以利用，能完成大量數(shù)據(jù)的處理，實(shí)現(xiàn)圖像處理與分 析，目標(biāo)抓取，進(jìn)而對(duì)手勢(shì)進(jìn)行識(shí)別。

　　基于算法和硬件兩方面的考慮，我們?nèi)蝿?wù)的核心內(nèi)容就是使這些算法在 FPGA平臺(tái)上得以實(shí)現(xiàn)。從上述分析可以看出，現(xiàn)在手勢(shì)識(shí)別算法已日趨完善，加之有Spartan-6這種高性能的FPGA芯片，我們不僅有理由相信，而 且有能力達(dá)到預(yù)期的設(shè)計(jì)目標(biāo)。除此之外，我們?cè)谌蘸蟮脑O(shè)計(jì)中會(huì)力求更優(yōu)算法，同時(shí)使設(shè)計(jì)電路更加合理化，以便使我們?cè)O(shè)計(jì)的手勢(shì)識(shí)別系統(tǒng)不斷提高精度和速 度。