可取代鼠標(biāo)的SmartMouse智能手勢(shì)輸入裝置方案設(shè)計(jì)

1.1 引言

計(jì)算機(jī)標(biāo)準(zhǔn)外設(shè)鼠標(biāo)和鍵盤的技術(shù)相對(duì)成熟，但其操作單調(diào)，多年來(lái)技術(shù)都未有突破性的進(jìn)步;觸摸屏的技術(shù)新近出現(xiàn)不久，并且很快成為熱點(diǎn)，該技術(shù)需要特殊的顯示觸摸設(shè)備，以滿足輸入要求;除此之外，以上兩種輸入方式，受到輸入設(shè)備原理的限制，不可避免地使使用者約束在顯示設(shè)備及輸入裝置周圍。在這種產(chǎn)業(yè)背景下，亟需一種人性化的智能無(wú)線輸入裝置來(lái)滿足日益普及的多媒體演示、辦公及個(gè)人電腦應(yīng)用環(huán)境。

在此前提下，本團(tuán)隊(duì)開發(fā)了一種名為Smartmouse的手勢(shì)輸入系統(tǒng)，使用者可方便的將本裝置的手持端佩戴在手上并通過(guò)USB接口將主機(jī)端連接在PC機(jī)上，便可通過(guò)手勢(shì)對(duì)PC進(jìn)行操控?？赏ㄟ^(guò)手勢(shì)完成鼠標(biāo)具有的全部功能，同時(shí)還可對(duì)當(dāng)今比較流行的日常應(yīng)用軟件進(jìn)行流暢的操作。Smartmouse的操作方式與觸摸屏和傳統(tǒng)鼠標(biāo)的最大區(qū)別在于擺脫了對(duì)屏幕及固定輸入裝置的依賴，從而可以更好地適應(yīng)當(dāng)今的多媒體環(huán)境。使電腦使用者可以脫離傳統(tǒng)鼠標(biāo)鍵盤的限制，建立使用者和電腦設(shè)備間更加人性化的交流方式。

1.2 項(xiàng)目背景

目前，國(guó)內(nèi)輸入設(shè)備廠家多針對(duì)現(xiàn)有的輸入設(shè)備進(jìn)行改進(jìn)，如新貴、雙飛燕等公司，推出的多媒體鼠標(biāo)、鍵盤，在原有的鍵盤或鼠標(biāo)的基本功能之上，增加對(duì)多媒體軟件的快捷按鍵。此類產(chǎn)品雖然增加了用戶的易用性，但大多價(jià)格不菲，更為重要的是其輸入方式并沒有質(zhì)的變化。

華中科技大學(xué)近期研制了一種基于空間運(yùn)動(dòng)測(cè)量技術(shù)的人體上肢動(dòng)作輸入設(shè)備，該設(shè)備的輸入方式采用了人體仿生學(xué)設(shè)計(jì)，具有突破性。但該系統(tǒng)的硬件眾多，識(shí)別算法復(fù)雜，產(chǎn)業(yè)化前景渺茫。

國(guó)外同等產(chǎn)品早在2001年，三星公司和SenseBoard公司展示了開發(fā)中的虛擬鍵盤，三星公司研發(fā)階段的產(chǎn)品稱為“Scurry”。兩家公司的產(chǎn)品在識(shí)別方式上有所不同，但是都帶來(lái)了革命性的變化，即可以拋棄傳統(tǒng)的鼠標(biāo)鍵盤。該種輸入設(shè)備的問(wèn)題在于，用戶在使用時(shí)，仍然要模仿鍵盤敲擊的動(dòng)作。

截止04年底，該種鍵盤的研發(fā)仍然處于有線連接的階段。直到目前為止，也沒有“Scurry”正式上市的消息，原因在于，該設(shè)備價(jià)格昂貴，耗費(fèi)巨大，商業(yè)化困難。

Nitendo公司生產(chǎn)的游戲機(jī)Wii與之類似，采用感知加速度來(lái)操縱游戲，但其僅能作為游戲設(shè)備使用，并且使用紅外傳輸，因而受到角度和距離的限制。

上個(gè)世紀(jì)70、80年代，國(guó)際上曾開展了大量關(guān)于數(shù)據(jù)手套的研究，以此捕獲手部的動(dòng)作，但之后不久該類研究陷入停滯。目前，對(duì)手勢(shì)識(shí)別比較流行的做法是采用基于視覺圖像識(shí)別的方法。采用攝像機(jī)捕獲動(dòng)作的圖像，采用圖像處理的方法得到動(dòng)作的信息，但這種手勢(shì)識(shí)別方式耗費(fèi)巨大，對(duì)軟硬件的要求也非常高。根本無(wú)法作為普通PC的輸入設(shè)備使用。

在MEMS技術(shù)及超低功耗無(wú)線通訊技術(shù)飛速發(fā)展的背景下，超小體積、超低功耗MEMS加速度傳感器和無(wú)線通訊模塊的發(fā)展，為我們?cè)O(shè)計(jì)開發(fā)一種具有廣泛應(yīng)用前景且更加人性化、方便、快捷的輸入設(shè)備提供了保障。

1.3本設(shè)計(jì)的先進(jìn)性

Smartmouse智能手勢(shì)輸入裝置不僅僅局限于計(jì)算機(jī)的輸入，更可用于多媒體設(shè)備的控制等諸多領(lǐng)域，具有非常廣闊的應(yīng)用范圍。并且，目前市場(chǎng)上并未出現(xiàn)使用加速度傳感器并且融合無(wú)線通信和USB即插即用等技術(shù)的輸入設(shè)備，Smartmouse智能手勢(shì)輸入裝置的出現(xiàn)定將吸引一批中高端追求新鮮事物的用戶。

作為產(chǎn)品，Smartmouse智能手勢(shì)輸入裝置既擁有現(xiàn)有產(chǎn)品的優(yōu)勢(shì)，又克服現(xiàn)有產(chǎn)品的不足;集人性化、易用性、便攜性于一身，更為使用者提供一種全新的操作理念，必將獲得市場(chǎng)的垂青。

二、需求分析

2.1 功能要求

Smartmouse智能手勢(shì)輸入系統(tǒng)分為手持端(手勢(shì)數(shù)據(jù)采集模塊)和主機(jī)端(數(shù)據(jù)接收處理模塊)，手持端和主機(jī)端通過(guò)無(wú)線方式連接。手持端可方便地佩戴在使用者手指上，對(duì)使用者的手勢(shì)數(shù)據(jù)進(jìn)行采集;主機(jī)端可實(shí)現(xiàn)與PC機(jī)接口，并可對(duì)手勢(shì)數(shù)據(jù)進(jìn)行接收和智能處理。

Smartmouse智能手勢(shì)輸入裝置的功能框圖如圖1所示。

2.2 性能要求

Smartmouse智能手勢(shì)輸入裝置，可準(zhǔn)確識(shí)別人的各種手勢(shì)并依據(jù)手勢(shì)流暢的進(jìn)行如移動(dòng)鼠標(biāo)、左鍵、右鍵、刪除、確定、取消、移動(dòng)文件等等相應(yīng)操作。信號(hào)采集端可實(shí)時(shí)完整的采集人手部動(dòng)作的信息，經(jīng)整理后以相應(yīng)的數(shù)據(jù)格式通過(guò)2.4G無(wú)線頻段傳輸給PC或接收機(jī)上的主機(jī)端;主機(jī)端可在無(wú)需任何驅(qū)動(dòng)程序的前提下將自身例化為USB接口形式的鼠標(biāo)鍵盤復(fù)合設(shè)備;接收數(shù)據(jù)后，對(duì)數(shù)據(jù)進(jìn)行智能化處理，識(shí)別出手勢(shì)所表達(dá)的意義，同時(shí)將相應(yīng)操作反饋給PC或接收機(jī)。對(duì)手勢(shì)的識(shí)別率應(yīng)達(dá)到消費(fèi)類電子的水平。

三、方案設(shè)計(jì)

3.1 系統(tǒng)功能實(shí)現(xiàn)原理

Smartmouse智能輸入系統(tǒng)采用加速度傳感器對(duì)使用者的手部動(dòng)作數(shù)據(jù)進(jìn)行采集和初步識(shí)別，結(jié)合無(wú)線通信和USB接口技術(shù)，通過(guò)自創(chuàng)的簡(jiǎn)單且智能的手勢(shì)識(shí)別處理算法，將得到的手部動(dòng)作信息通過(guò)USB接口傳輸給PC或接收機(jī)，使用戶能夠以更符合肢體動(dòng)作習(xí)慣的方式對(duì)PC進(jìn)行控制，給用戶帶來(lái)全新的操作體驗(yàn)。

Smartmouse智能輸入系統(tǒng)硬件結(jié)構(gòu)框圖如下圖2所示。(1)手勢(shì)數(shù)據(jù)采集

Smartmouse智能手勢(shì)輸入系統(tǒng)的手持端需對(duì)使用者手部動(dòng)作數(shù)據(jù)進(jìn)行連續(xù)且準(zhǔn)確的采樣，并將采集到的手部動(dòng)作數(shù)據(jù)通過(guò)無(wú)線形式傳輸給連接在PC機(jī)USB接口上的主機(jī)端。本系統(tǒng)采用美新公司生產(chǎn)的雙軸MEMS加速度傳感器芯片MXC6202xMP作為主要的手勢(shì)動(dòng)作感知器件，在正確感知手部動(dòng)作數(shù)據(jù)的同時(shí)，達(dá)到低功耗、高精度的要求。

(2)數(shù)據(jù)接收與處理

連接在PC機(jī)USB口上的主機(jī)端，即數(shù)據(jù)接收與處理模塊，將自身例化為PC機(jī)的鼠標(biāo)和鍵盤復(fù)合設(shè)備，同時(shí)將通過(guò)無(wú)線方式接收到的手勢(shì)數(shù)據(jù)通過(guò)識(shí)別算法進(jìn)行智能處理，將處理后的結(jié)果以鼠標(biāo)鍵盤操作數(shù)據(jù)的形式傳輸給PC機(jī)。數(shù)據(jù)接收與處理模塊與PC機(jī)的連接過(guò)程無(wú)需安裝任何驅(qū)動(dòng)，可實(shí)現(xiàn)即插即用。對(duì)手勢(shì)數(shù)據(jù)的識(shí)別率能夠滿足消費(fèi)類電子要求。本系統(tǒng)中以AVR單片機(jī)為核心處理單元，負(fù)責(zé)將設(shè)備按照USB協(xié)議枚舉為USB復(fù)合設(shè)備，管理無(wú)線收發(fā)模塊，并通過(guò)無(wú)線模塊對(duì)手持端進(jìn)行管理，同時(shí)將接收到的手勢(shì)數(shù)據(jù)通過(guò)自創(chuàng)的手勢(shì)識(shí)別算法進(jìn)行分析，將結(jié)果發(fā)送給主機(jī)端。

(3)數(shù)據(jù)的傳輸

采集的手勢(shì)數(shù)據(jù)的傳輸采用當(dāng)前在消費(fèi)類電子產(chǎn)品領(lǐng)域應(yīng)用比較廣泛的2.4G頻段，在保證帶寬的前提下準(zhǔn)確傳輸數(shù)據(jù)和控制信息，同時(shí)可實(shí)現(xiàn)設(shè)備休眠等降低功耗的操作。

(4)主機(jī)端與PC接口

主機(jī)端即手勢(shì)數(shù)據(jù)處理模塊通過(guò)USB接口與PC機(jī)進(jìn)行連接，將自身例化為PC機(jī)的鍵盤鼠標(biāo)復(fù)合設(shè)備，在不需要任何驅(qū)動(dòng)的前提下實(shí)現(xiàn)即插即用。

(5)電源供給

手持端采用微型鋰電池作為電源，體積較小并可進(jìn)行重復(fù)充電與使用。同時(shí)通過(guò)休眠、停機(jī)等操作降低系統(tǒng)功耗。

主機(jī)端通過(guò)主機(jī)USB接口供電，在長(zhǎng)時(shí)間不使用情況下可進(jìn)行休眠操作。

(6)智能識(shí)別率

Smartmouse智能手勢(shì)輸入系統(tǒng)需要流暢的對(duì)PC機(jī)進(jìn)行操作，對(duì)手勢(shì)的識(shí)別率有較高要求，同時(shí)能對(duì)現(xiàn)今比較流行的演示軟件進(jìn)行復(fù)雜操作。本設(shè)計(jì)中通過(guò)32位AVR單片機(jī)對(duì)接收到的手勢(shì)數(shù)據(jù)進(jìn)行處理，結(jié)合本團(tuán)隊(duì)自創(chuàng)的手勢(shì)識(shí)別算法，識(shí)別出手勢(shì)具有的意義。

3.2 硬件平臺(tái)選用及資源配置

由于本系統(tǒng)所包含的模塊眾多、算法復(fù)雜，同時(shí)對(duì)功耗、穩(wěn)定性又有很高要求，所以在平臺(tái)的選擇時(shí)分兩個(gè)步驟進(jìn)行：

功能實(shí)現(xiàn)階段，主要為完善手勢(shì)識(shí)別算法、USB接口協(xié)議、無(wú)線通訊協(xié)議等。各個(gè)部分均使用現(xiàn)成模塊。無(wú)線收發(fā)部分采用Ti公司生產(chǎn)的eZ430無(wú)線收發(fā)模塊;算法硬件實(shí)現(xiàn)和USB接口等的管理采用Atmel公司提供的EVK1100開發(fā)板。

作品完善階段，在實(shí)現(xiàn)手勢(shì)識(shí)別算法、USB接口協(xié)議、無(wú)線通訊協(xié)議等的基礎(chǔ)上，使用Atmel公司的生產(chǎn)的ATXMEGA32D4單片機(jī)和無(wú)線收發(fā)芯片AT86RF212自制手持端;采用AT32UC3L064單片機(jī)和無(wú)線收發(fā)芯片AT86RF212實(shí)現(xiàn)主機(jī)端的數(shù)據(jù)接收、手勢(shì)識(shí)別算法和USB接口管理。

3.3系統(tǒng)程序架構(gòu)

本系統(tǒng)中，軟件設(shè)計(jì)主要分為手勢(shì)數(shù)據(jù)采集、無(wú)線通訊協(xié)議、手勢(shì)數(shù)據(jù)識(shí)別算法和USB接口協(xié)議幾部分。

手勢(shì)數(shù)據(jù)采集：在主機(jī)端的控制下對(duì)手勢(shì)數(shù)據(jù)進(jìn)行采集并按一定的格式打包準(zhǔn)備進(jìn)行傳輸;

無(wú)線通訊協(xié)議：管理手持端與主機(jī)端之間的連接和數(shù)據(jù)傳輸;

手勢(shì)識(shí)別算法：為本系統(tǒng)中的算法核心，采用一種自創(chuàng)的基于加速度傳感器數(shù)據(jù)的智能識(shí)別算法，對(duì)手勢(shì)數(shù)據(jù)進(jìn)行處理，得出手勢(shì)所具有的意義;

USB接口協(xié)議：管理主機(jī)端與PC或接收機(jī)之間的連接，將主機(jī)端枚舉為電腦的鼠標(biāo)鍵盤復(fù)合設(shè)備，實(shí)現(xiàn)在無(wú)驅(qū)動(dòng)條件下的即插即用。

3.4 系統(tǒng)程序流程

本系統(tǒng)中程序主要分為手持端程序和主機(jī)端程序，程序流程圖如下圖3所示。

3.4 系統(tǒng)預(yù)計(jì)實(shí)現(xiàn)結(jié)果

借助Atmel提供的EVK1100系列開發(fā)板和Ti eZ430無(wú)線模塊實(shí)現(xiàn)樣機(jī)一套，實(shí)現(xiàn)鼠標(biāo)所有功能，并能對(duì)簡(jiǎn)單的瀏覽軟件進(jìn)行控制，同時(shí)達(dá)到識(shí)別準(zhǔn)確率90%以上。自制產(chǎn)品初級(jí)模型一套，實(shí)現(xiàn)鼠標(biāo)所有功能，同時(shí)具有“空中畫筆”功能，能對(duì)簡(jiǎn)單的瀏覽軟件進(jìn)行流暢的控制，達(dá)到準(zhǔn)確識(shí)別90%以上。