聆思CSK6開發(fā)板大模型視覺識(shí)別類開源SDK介紹

大模型開發(fā)板除了語音交互之外，還配套有大模型拍照識(shí)圖和坐姿檢測、人臉識(shí)別、活體識(shí)別、頭肩跟隨、手勢識(shí)別、物體分類等七個(gè)線視覺識(shí)別方面的交互示例等。

SDK介紹

1、  大模型語音交互+拍照識(shí)圖SDK

SDK功能

● 語音交互：支持按鍵錄音或喚醒后通過語音與大模型進(jìn)行對(duì)話

● 拍照識(shí)圖：支持通過攝像頭拍攝圖像并上傳給大模型進(jìn)行識(shí)別，支持依據(jù)識(shí)圖內(nèi)容進(jìn)行提問

● 圖片生成：支持通過語音交互描述畫面內(nèi)容，令大模型生成圖片并顯示至套件屏幕上

拍照識(shí)圖

在待機(jī)頁，點(diǎn)擊拍照按鈕即可進(jìn)入取景頁面，對(duì)準(zhǔn)要拍照的物體，點(diǎn)擊右側(cè)中間的拍照鍵完成抓拍，確認(rèn)畫面抓拍正常后（無晃動(dòng)模糊的情況），點(diǎn)擊右側(cè)的 √ 進(jìn)行提交識(shí)別。

識(shí)別結(jié)果：

2、  坐姿檢測SDK

算法簡介

CSK6 大模型開發(fā)套件可檢測圖像中人物的坐姿情況，并對(duì)各種不良的坐姿進(jìn)行識(shí)別，當(dāng)畫面中有坐姿信息時(shí)，顯示屏上將實(shí)時(shí)對(duì)人物的關(guān)鍵骨骼點(diǎn)進(jìn)行標(biāo)注并顯示該人物的包含手、身體狀態(tài)在內(nèi)的坐姿檢測結(jié)果，結(jié)果包含一下內(nèi)容：

● 手狀態(tài)：正常/下垂/撐臉

● 身體狀態(tài)：正常/趴桌/傾斜/駝背/離席

CSK6 芯片支持運(yùn)行 坐姿檢測 AI算法，具備以下特性：

● 硬件上僅需配合 30W 像素鏡頭模組，性價(jià)比出色

● 純離線運(yùn)行算法，無需聯(lián)網(wǎng)，保障隱私

● 檢測準(zhǔn)確率 ＞ 97%，響應(yīng)時(shí)間 ＜ 18ms

● 識(shí)別距離：推薦 40cm ~ 60cm, 建議不超過 110cm

3、  人臉識(shí)別SDK

人臉識(shí)別算法簡介

人臉識(shí)別 算法具備以下特性：

● 支持檢測圖像中人臉信息，選取畫面中分值最高的人臉，返回人臉邊界框、人臉標(biāo)定點(diǎn)、頭部姿態(tài)角度、人臉識(shí)別特征等

● 人臉標(biāo)定點(diǎn)支持68個(gè)關(guān)鍵點(diǎn)檢測

● 頭部姿態(tài)角度支持pitch、roll、yaw三個(gè)角度

● 支持特征比較：將檢測到的人臉特征值和本地存儲(chǔ)的人臉特征值輸入算法進(jìn)行比對(duì)， 并返回比對(duì)結(jié)果

應(yīng)用場景

離線人臉識(shí)別適用于網(wǎng)絡(luò)條件不穩(wěn)定、無網(wǎng)、數(shù)據(jù)安全性要求高、人臉庫較小（20人以下）單臺(tái)設(shè)備的人臉識(shí)別場景。常見于人臉門禁、小型企業(yè)考勤機(jī)、自助終端設(shè)備等。

算法效果指標(biāo)數(shù)據(jù)

識(shí)別效果

在1m距離內(nèi)，測試特征底庫10個(gè)，人臉識(shí)別效果分別為：

使用介紹

人臉識(shí)別示例工程的使用

調(diào)用人臉識(shí)別算法，可以通過開發(fā)板上的按鍵操作進(jìn)行人臉注冊(cè)、臉識(shí)別，并通過圖像預(yù)覽工具查看攝像頭的畫面與輸出結(jié)果。

固件功能說明

程序運(yùn)行后，默認(rèn)會(huì)在屏幕上顯示實(shí)時(shí)的攝像頭畫面并在畫面中使用方框?qū)崟r(shí)標(biāo)注出人臉，并通過方框的顏色指示不同的識(shí)別狀態(tài)。

可以按照以下流程進(jìn)行人臉識(shí)別功能的使用：

● Step1：檢測到人臉 (屏幕顯示黃色框 / 開發(fā)板LED亮黃色)

● Step2：按K1按鍵注冊(cè)當(dāng)前人臉特征 (屏幕 registered參數(shù)增加1 /開發(fā)板LED閃爍藍(lán)色)

● Step3：按K2對(duì)當(dāng)前人臉進(jìn)行識(shí)別比對(duì)

○ 識(shí)別通過：屏幕顯示綠色框 / 開發(fā)板LED亮綠色

○ 識(shí)別未通過：屏幕顯示紅色框 / 開發(fā)板LED亮紅色

LED指示狀態(tài)

● 黃色：檢測到人臉

● 綠色：人臉特征比對(duì)通過

● 紅色：人臉特征比對(duì)未通過

按鍵功能

● K1：錄入當(dāng)前檢測到的人臉特征

● K2：將當(dāng)然的人臉特征與之前錄入的特征進(jìn)行比較

● K3：開關(guān)攝像頭紅外補(bǔ)光燈(安裝紅外攝像頭時(shí))

4、  活體識(shí)別

功能說明

需要搭配帶補(bǔ)光燈的紅外攝像頭，結(jié)合人臉識(shí)別算法，實(shí)現(xiàn)對(duì)活體的檢測。

程序運(yùn)行后，默認(rèn)會(huì)在屏幕上顯示實(shí)時(shí)的攝像頭畫面并在畫面中使用方框?qū)崟r(shí)標(biāo)注出人臉，并通過方框的顏色指示不同的識(shí)別狀態(tài)。

1.注冊(cè)人臉

當(dāng)LED為黃色時(shí)(檢測到人臉)，按動(dòng)K1按鍵，此時(shí)將會(huì)錄入當(dāng)前檢測到的人臉特征，錄入成功后，可看到屏幕上顯示的registered 數(shù)量增加1，說明本次錄入已完成并加入人臉特征庫。

2.比對(duì)人臉

當(dāng)LED為黃色時(shí)(檢測到人臉)，按動(dòng)K2按鍵，此時(shí)固件會(huì)將當(dāng)前攝像頭前檢測到的人臉與已錄入的人臉特征進(jìn)行比對(duì)，若對(duì)比成功(命中已錄入的人臉特征)，屏幕中圈中人臉的框?qū)⒆優(yōu)榫G色，同時(shí)開發(fā)板上的LED顏色將變?yōu)榫G色，表示人臉特征比對(duì)通過，并在屏幕上顯示匹配的人臉特征序號(hào)(id)與評(píng)分(score)。

若比對(duì)不通過，即當(dāng)前人臉未在人臉特征庫中錄入過，屏幕中圈中人臉的框?qū)⒆優(yōu)榧t色，同時(shí)開發(fā)板上的LED顏色將變?yōu)榧t色，表示人臉特征比對(duì)通過。

3.串口日志的查看

本示例同樣支持串口日志的打印，可通過連接開發(fā)板上的DAP_USB 并使用串口工具打開對(duì)應(yīng)的串口設(shè)備進(jìn)行日志查看，默認(rèn)波特率 115200，伴隨著 人臉錄入、人臉比對(duì)等操作，可看到日志串口有對(duì)應(yīng)的結(jié)果輸出。

5、頭肩跟隨+手勢識(shí)別SDK

頭肩跟隨

頭肩算法介紹

檢測圖像中所有人體的頭肩位置，返回每個(gè)頭肩的唯一id、位置坐標(biāo)、檢測得分等；

● 通過攝像頭實(shí)時(shí)獲取圖像并在屏幕上進(jìn)行預(yù)覽顯示

● 在屏幕展示的畫面中標(biāo)注頭肩檢測和手勢識(shí)別的結(jié)果與評(píng)分

通過頭肩檢測識(shí)別用戶的手勢，返回當(dāng)前目標(biāo)的手勢、得分等；

支持5種手勢，分別為LIKE(

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。