基于視覺的智能電子寵物

　　摘要：本項(xiàng)目將當(dāng)前熱門的感知計(jì)算技術(shù)應(yīng)用到電子玩具這一領(lǐng)域，開創(chuàng)性地設(shè)計(jì)了一個(gè)可以與主人進(jìn)行豐富多樣的感性交流的電子寵物。以Intel 3D攝像頭和Baytrail平臺(tái)為核心，偵測(cè)主人的表情、手勢(shì)、語音等，實(shí)現(xiàn)了與主人進(jìn)行感性互動(dòng)的交流，為用戶帶來了簡單方便、人性貼心的全新體驗(yàn)。

　　1 創(chuàng)意來源

　　隨著電子技術(shù)的進(jìn)一步發(fā)展，電子寵物逐漸走入人們的家庭生活中，目前市面上相對(duì)成熟的電子寵物主要有兩大類：一類是生活在電子設(shè)備中的虛擬寵物，沒有任何的機(jī)械結(jié)構(gòu)，純粹通過電子設(shè)備與之進(jìn)行交互;另一類是具有一定機(jī)械機(jī)構(gòu)的電子寵物，具有觸覺等功能，但由于其與逼真寵物外形想像的特性，交互方式也相對(duì)缺乏。

　　如今感知計(jì)算技術(shù)大為盛行，它重新定義了人與設(shè)備的溝通方式，通過更適合人類的溝通方式比如語言、表情、動(dòng)作等，讓設(shè)備感知人類的意圖，智能分析人類的行為。

　　我們的作品，就是基于這一熱門技術(shù)，將感知計(jì)算應(yīng)用到電子寵物身上，充分利用了感知計(jì)算的先進(jìn)特性，實(shí)現(xiàn)了一個(gè)通過手勢(shì)、表情、語言與使用者進(jìn)行感性互動(dòng)的智能型電子寵物。具有如此豐富、生動(dòng)交互方式的電子寵物，無疑會(huì)給使用者帶來全新的體驗(yàn)?？梢韵胂螅粋€(gè)比真實(shí)寵物更加方便、衛(wèi)生、更加懂主人意思的智能電子寵物，無疑會(huì)引起廣大寵物愛好者的極大興趣，成為我們現(xiàn)代化家庭的重要一員。

　　2 關(guān)鍵技術(shù)

　　2.1 視覺處理程序

　　我們的項(xiàng)目采用的是Intel Creative Senz3D攝像頭，Creative Senz3D是Intel公司為感知計(jì)算技術(shù)開發(fā)的3D景深攝像頭。我們用3D攝像頭作為寵物的眼睛，是整個(gè)系統(tǒng)最核心的部分，實(shí)現(xiàn)與周圍環(huán)境的交互，支持人臉識(shí)別，表情識(shí)別和手勢(shì)識(shí)別。我們借用了配套的Intel perceptual computing SDK中提供的一些表情識(shí)別、手勢(shì)識(shí)別、人臉識(shí)別等模塊，用線程來分別管理。當(dāng)3D攝像頭捕捉到圖像數(shù)據(jù)后會(huì)分析然后開啟線程執(zhí)行上述三個(gè)模塊中的一個(gè)，然后把識(shí)別結(jié)果返回給服務(wù)器，讓服務(wù)器完成接下去的工作。

　　2.2 服務(wù)器

　　我們把服務(wù)器放在了Baytrail開發(fā)板上。服務(wù)器作為與每個(gè)子模塊溝通的橋梁，它的主要作用是一個(gè)數(shù)據(jù)中樞，它接收攝像頭的識(shí)別結(jié)果，然后根據(jù)情況選擇通過socket發(fā)送給手機(jī)，或用串口發(fā)送給Arduino開發(fā)板，協(xié)調(diào)各個(gè)部分的工作。同時(shí)，服務(wù)器要求具有一定的魯棒性，它需要能夠檢測(cè)各個(gè)部分是否正常工作并進(jìn)行糾正。

　　2.3 Android移動(dòng)應(yīng)用

　　手機(jī)APP顯示的是寵物的臉，它承載的是寵物向用戶做出表情以及聲音的輸出，它會(huì)根據(jù)服務(wù)器發(fā)來的指令變換自己的表情，與用戶所做的表情同步，與用戶進(jìn)行交互，同時(shí)用戶做的表情會(huì)對(duì)寵物自身的心情值產(chǎn)生影響，當(dāng)心情值足夠高時(shí)，即使沒有外界刺激，寵物也會(huì)做出開心的表情。這一部分的主要實(shí)現(xiàn)方式是Android套接字(Socket)編程和異步消息處理機(jī)制，實(shí)現(xiàn)與服務(wù)器Baytrail開發(fā)板的通信，接收服務(wù)器發(fā)來的控制命令并返回反饋數(shù)據(jù)。表情切換用Android活動(dòng)的切換來實(shí)現(xiàn)，表情顯示用Android Canvas類進(jìn)行圖片播放來實(shí)現(xiàn)。