聆思CSK6大模型開發(fā)板英語評(píng)測(cè)類開源SDK詳解

離線英文評(píng)測(cè)算法SDK能力簡介

CSK6 大模型開發(fā)套件可以對(duì)用戶通過語音輸入的英文單詞進(jìn)行精準(zhǔn)識(shí)別，并對(duì)單詞的發(fā)音、錯(cuò)讀、漏讀、多讀等方面進(jìn)行評(píng)估，進(jìn)行音素級(jí)的識(shí)別，根據(jù)用戶的發(fā)音給出相應(yīng)的建議和糾正，幫助用戶更好地掌握單詞的發(fā)音。

離線單詞評(píng)測(cè) 算法具備以下特性：

●支持單詞評(píng)測(cè)，評(píng)測(cè)準(zhǔn)確率98%以上

●支持音素級(jí)識(shí)別

●支持單詞發(fā)音評(píng)分

●支持識(shí)別無效評(píng)測(cè)音頻

功能交互展示

視覺語音大模型AI開發(fā)套件（https://docs2.listenai.com/x/nTn9kMMCUSDK ）配套了離線英文評(píng)測(cè)這一示例工程，文本將對(duì)本示例工程進(jìn)行說明。

1.固件運(yùn)行后，可以在顯示屏上看到 單詞評(píng)測(cè) 的圖標(biāo)，點(diǎn)擊圖標(biāo)即可進(jìn)入單詞評(píng)測(cè)應(yīng)用：

2.目前固件提供了三種單詞、短語、句子評(píng)測(cè)模式，點(diǎn)擊對(duì)應(yīng)選項(xiàng)課進(jìn)入對(duì)應(yīng)的模式：

3.以單詞評(píng)測(cè)為例，進(jìn)入該模式后，固件將給出若干個(gè)英文單詞，可點(diǎn)擊右下角評(píng)測(cè)按鈕進(jìn)行評(píng)測(cè)：

4.對(duì)著開發(fā)套件讀出單詞后，點(diǎn)擊右下角圖標(biāo)結(jié)束評(píng)測(cè)，固件將給出此次評(píng)測(cè)的結(jié)果：

離線英譯中SDK

能力簡介

基于transformer模型，使用聆思科技開源的AI生態(tài)工具鏈LNN(ListenAI Neural Network)，完成中英翻譯任務(wù)的訓(xùn)練、量化、模型轉(zhuǎn)換、仿真調(diào)試等一系列步驟，并實(shí)現(xiàn)在聆思CSK6芯片上進(jìn)行推理。

SDK提供的示例集成了這個(gè)模型，可以讓聆思CSK6開發(fā)板實(shí)現(xiàn)英譯中功能，可用于體驗(yàn)離線翻譯功能。

觸摸屏UI交互翻譯

固件燒錄完畢后，程序?qū)⒆詣?dòng)運(yùn)行，您也可以通過復(fù)位按鍵(RST)對(duì)程序進(jìn)行復(fù)位，復(fù)位后的UI界面如下：

●點(diǎn)擊畫面中心的輸入框，可通過屏幕上顯示的鍵盤輸入句子

●點(diǎn)擊輸入框左側(cè)的按鈕，可隨機(jī)填入一句演示的句子

●點(diǎn)擊下方翻譯按鈕，即可輸出改句子的中文翻譯

UART串****互翻譯

本示例也支持通過串口 UART 進(jìn)行離線翻譯，操作如下：

●打開 聆思在線串口終端(https://tool.listenai.com/serial-term/)，選擇開發(fā)板對(duì)應(yīng)的串口，點(diǎn)擊連接

在下方輸入框輸入待翻譯的英文內(nèi)容，點(diǎn)擊發(fā)送按鈕，即可在接收區(qū)查看到翻譯后的中文結(jié)果。

離線字母拼讀算法SDK

能力簡介

CSK6 大模型開發(fā)套件可以對(duì)用戶的語音輸入進(jìn)行字母(a~z)的識(shí)別，通過語音拼讀單詞字母，快速準(zhǔn)確地查詢單詞的發(fā)音和含義，可應(yīng)用于掃描詞典筆、單詞卡、學(xué)習(xí)機(jī)等產(chǎn)品。

可以對(duì)用戶的語音輸入進(jìn)行字母(a~z)的識(shí)別，通過語音拼讀單詞字母，快速準(zhǔn)確地查詢單詞的發(fā)音和含義。

功能交互展示

聆思 CSK6 大模型開發(fā)套件出廠集成提供了字母拼讀算法的示例，長按即可加載示例進(jìn)行使用，無需聯(lián)網(wǎng)。

1.固件運(yùn)行后，可以在顯示屏上看到操作提示詞：

2.按住按鍵進(jìn)行單詞拼讀：

3.拼讀完成后，固件將會(huì)給出單詞的發(fā)音和含義：

SDK資源下載

以上3個(gè)離線英語評(píng)測(cè)SDK可以在以下地址下載：

1、 語音視覺大模型開發(fā)板 SDK：https://cloud.listenai.com/CSKG962172/duomotai_ap/-/tree/master/

●字母拼讀：apps目錄下，工程目錄名稱為 lcd_wsp

●英文評(píng)測(cè)： apps目錄下，工程目錄名稱為 lcd_csps

●英譯中： apps/thinker_service目錄下，工程目錄名稱為 translation

2、離線英譯中transformer模型項(xiàng)目地址：GitHub - dwzhang00/Offline-translation: An offline translation model based on transformer

補(bǔ)充開發(fā)板信息

開發(fā)板具備豐富語音圖像功能與硬件外設(shè)的開發(fā)板，采用有著豐富組件生態(tài)的 Zephyr RTOS 作為操作系統(tǒng)，默認(rèn)配套開箱即玩的 AI 應(yīng)用，也可以配合聆思的模型訓(xùn)練推理工具 LNN 將自己的算法模型部署至芯片上，構(gòu)建自己的 AI 應(yīng)用，開發(fā)板詳情參考：https://docs2.listenai.com/x/nTn9kMMCU