基于 MTK Genio 130 結(jié)合 ChatGPT 功能的解決方案
加入技術(shù)交流群
隨著人工智慧(AI)在2022-2023的爆炸性成長，我們迎來了AI世代，無論是交通、工業(yè)、金融、制造、醫(yī)療等各領(lǐng)域，AI已被廣泛的應(yīng)用來解決各類問題與加速發(fā)展。伴隨著AI走入我們的生活，我們也在所擁有的各類智慧裝置上，看到各式各樣的AI工具與產(chǎn)品的身影。
本文引用地址：http://butianyuan.cn/article/202409/463150.htm 
圖一：MediaTek Genio 130 chip （資料內(nèi)容取自 MediaTek）
ChatGPT，我們熟知且廣泛使用的自然語言生成式模型；ChatGPT 由 OpenAI 所開發(fā)并在2022推出。透過 ChatGPT，我們除了能以人類自然語言與其互動(dòng)外。還可傳遞文字、音訊、圖像、多媒體等資訊，為使用者提出的詢問給予近乎真人且基于深度學(xué)習(xí)后相應(yīng)的回應(yīng)內(nèi)容。
這樣的先進(jìn)的AI技術(shù)，被廣泛的應(yīng)用在各類領(lǐng)域、場景。在 IoT 領(lǐng)域，聯(lián)發(fā)科技將自家解決方案：Genio 130，為一款單芯片整合了 Arm Cortex-M33 MCU、Wi-Fi 6 和藍(lán)牙 5.2 連接子系統(tǒng)、電源管理單元（PMU）和可選音頻 DSP 為基礎(chǔ)，結(jié)合 OpenAI API，打造新一代智慧聯(lián)網(wǎng) AI 裝置，可應(yīng)用在各類 IoT 場景及情境。
圖二：MediaTek Genio 130 block diagram
本篇方案將進(jìn)一步介紹 Genio 130 結(jié)合 ChatGPT 功能的解決方案 :
Genio 130 環(huán)境 & SDK 架設(shè)
OpenAI API 導(dǎo)入 & 行為設(shè)計(jì)
實(shí)際操作展示
Genio 130 環(huán)境 & SDK 架設(shè)
圖三：MediaTek Genio 130 EVK （資料內(nèi)容取自 AcSip）
透過搭建 Linux 開發(fā)環(huán)境（ex. VM + Ubuntu 20.04 LTS）后，導(dǎo)入 Genio 130 SDK，便可開始進(jìn)行 OpenAI 功能實(shí)作。
關(guān)于如何架設(shè) Genio 130 開發(fā)環(huán)境，并進(jìn)一步建置專案、燒錄專案 binary file 到 Genio 130 EVK，詳細(xì)可以參考大大通博文：MediaTek Genio 130/130A 快速上手(一)
在導(dǎo)入 OpenAI API 之前，我們需要將以下功能實(shí)作，以配合 OpenAI API 所需，Genio 130 SDK 已具備部分功能。
Audio data capture from microphone：擷取麥克風(fēng)音訊。
Audio playback：用以播放 OpenAI 回應(yīng)內(nèi)容。
HTTP Client：收發(fā) Genio 130 與 OpenAI Server 網(wǎng)路封包。
OpenAI API 導(dǎo)入 & 行為設(shè)計(jì)
參考 OpenAI 開發(fā)文件，我們可以從中查找各類 OpenAI API 并整合在 Genio 130 上，利用 HTTP Request 來完成，以下是一個(gè)使用 Chat Completions API 的 HTTP Request 范例：
curl https://api.openai.com/v1/chat/completions |
值得一提的是，開發(fā) OpenAI API 需要在 OpenAI 注冊帳號并取得 OpenAI API Key（須付費(fèi)）。
詳細(xì)可參考 : OpenAI Platform
在 Genio 130 上我們設(shè)計(jì)使用 EVK 上的按鈕（SW2）來觸發(fā)麥克風(fēng)收音，再透過 HTTP Requet 封包發(fā)送到 OpenAI Server，接著取得經(jīng)過 OpenAI Server 處理后返回的音訊回應(yīng)，最后利用 Audio playback 功能于 Speaker 播放結(jié)果。
圖四：MediaTek Genio 130 EVK
實(shí)際操作展示
接下來是 Genio 130 實(shí)際操作 ChatGPT 功能展示，我們可以簡單的將 Speaker 與 Genio 130 EVK 連接，完成后將 Gneio 130 EVK 連接電源，Gneio 130 EVK 將會快速的完成初始化并等待使用者執(zhí)行下一步動(dòng)作。
圖五：MediaTek Genio 130 EVK
接著，我們需要將 Gneio 130 EVK 連接上已知的 WIFI AP；透過一連串的 WIFI CLI command 來建立 Gneio 130 EVK 的網(wǎng)路連線，這個(gè) WIFI AP profile 也可儲存在 Gneio 130 EVK 的 NVDM 中，之后的開機(jī)都將會自動(dòng)套用 profile 進(jìn)行 WIFI 連線。
$ wifi init $ wifi config set ssid 0 SSID $ wifi config set sec 0 7 6 $ wifi config set psk 0 PASSWORD $ wifi config set reload |
再來，我們透過已實(shí)作好的 ChatGPT CLI command 啟動(dòng) ChatGPT 服務(wù)
$ chatgpt_start |
完成后，我們便可透過按下 SW2 按鈕，并使用自然語言做提問：你好,請自我介紹。
通過 OpenAI API 一連串的處理：audio/transcriptions --> chat/completions --> audio/speech。完成了一次的"對話"，以下以封包形式展示：
[249093]<633>[common][I][openAI_chatGPT_task][1289]send audio data complete!
recv data_size:38, { "text": "你好,請自我介紹" } [249637]<634>[common][I][openAI_chatGPT_task][1294]httpclient_post https://api.openai.com/v1/audio/transcriptions success ! req: 你好,請自我介紹 [249639]<635>[common][I][openAI_chatGPT_task][1335]send chat request ! [249645]<636>[common][I][openAI_chatGPT_task][1351]send chat request complete!
recv data_size:757, { "id": "chatcmpl-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "object": "chat.completion", "created": 1724683334, "model": "gpt-4o-mini-2024-07-18", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "你好！我是聊天機(jī)器人助手，旨在回答問題、提供資訊和幫助解決各種需求。不論是學(xué)習(xí)新知識、尋找建議、撰寫文本，還是其他各種話題，我都可以提供幫助。如果你有任何問題或需求，隨時(shí)告訴我！", "refusal": null }, "logprobs": null, "finish_reason": "stop" } ], "usage": { "prompt_tokens": 13, "completion_tokens": 74, "total_tokens": 87 }, "system_fingerprint": "fp_507c9469a1" }
[251591]<637>[common][I][openAI_chatGPT_task][1355]httpclient_post https://api.openai.com/v1/chat/completions success ! req txt: 你好！我是聊天機(jī)器人助手，旨在回答問題、提供資訊和幫助解決各種需求。不論是學(xué)習(xí)新知識、尋找建議、撰寫文本，還是其他各種話題，我都可以提供幫助。如果你有任何問題或需求，隨時(shí)告訴我！
[251594]<638>[common][I][openAI_chatGPT_task][1397]send text! [251601]<639>[common][I][openAI_chatGPT_task][1413]send text complete! mp3_codec_start_play,829 [MP3 Codec]Open codec [MP3 Codec]: mp3_decode_buffer 0x1067c0c8 (len 41000), mp3_codec_internal_handle 0x1057a1f0 (size 220), handle 0x1057a1f0 [MP3 Codec]mp3_codec_task_main create [MP3 Codec Demo] first write data 4095.mp3_codec_start_play,848 [MP3 Codec Demo] play + [MP3 Codec] mp3_codec_play_internal ++ [MP3 Codec] mp3_codec_play_internal -- [MP3 Codec Demo] play - recv data done:total size:340800, this block:14400 [260847]<649>[common][I][openAI_chatGPT_task][1434]httpclient_post https://api.openai.com/v1/audio/speech success ! |
另一個(gè)操作展示：計(jì)算952加33再除以2 有小數(shù)點(diǎn)嗎?小數(shù)點(diǎn)是多少?
[9323894]<699>[common][I][openAI_chatGPT_task][1289]send audio data complete!
recv data_size:76, { "text": "計(jì)算952加33再除以2 有小數(shù)點(diǎn)嗎?小數(shù)點(diǎn)是多少?" } [9324831]<700>[common][I][openAI_chatGPT_task][1294]httpclient_post https://api.openai.com/v1/audio/transcriptions success ! req: 計(jì)算952加33再除以2 有小數(shù)點(diǎn)嗎?小數(shù)點(diǎn)是多少? [9324833]<701>[common][I][openAI_chatGPT_task][1335]send chat request !
[9324840]<702>[common][I][openAI_chatGPT_task][1351]send chat request complete!
recv data_size:707, { "id": "chatcmpl-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "object": "chat.completion", "created": 1724692409, "model": "gpt-4o-mini-2024-07-18", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "首先，我們先計(jì)算 ( 952 + 33 )。nn[n952 + 33 = 985n]nn接下來，將這個(gè)結(jié)果除以 2：nn[nfrac{985}{2} = 492.5n]nn因此，計(jì)算結(jié)果有小數(shù)點(diǎn)，且小數(shù)點(diǎn)是 **0.5**。", "refusal": null }, "logprobs": null, "finish_reason": "stop" } ], "usage": { "prompt_tokens": 27, "completion_tokens": 77, "total_tokens": 104 }, "system_fingerprint": "fp_f3db212e1c" }
[9326680]<703>[common][I][openAI_chatGPT_task][1355]httpclient_post https://api.openai.com/v1/chat/completions success ! req txt: 首先，我們先計(jì)算 ( 952 + 33 )。nn[n952 + 33 = 985n]nn接下來，將這個(gè)結(jié)果除以 2：nn[nfrac{985}{2} = 492.5n]nn因此，計(jì)算結(jié)果有小數(shù)點(diǎn)，且小數(shù)點(diǎn)是 **0.5**。 [9326683]<704>[common][I][openAI_chatGPT_task][1397]send text! [9326690]<705>[common][I][openAI_chatGPT_task][1413]send text complete! mp3_codec_start_play,829 [MP3 Codec]Open codec [MP3 Codec]: mp3_decode_buffer 0x1067c0c8 (len 41000), mp3_codec_internal_handle 0x1057a1f0 (size 220), handle 0x1057a1f0 [MP3 Codec]mp3_codec_task_main create [MP3 Codec Demo] first write data 4095.mp3_codec_start_play,848 [MP3 Codec Demo] play + [MP3 Codec] mp3_codec_play_internal ++ [MP3 Codec] mp3_codec_play_internal -- [MP3 Codec Demo] play - recv data done:total size:296640, this block:2880 [9330700]<715>[common][I][openAI_chatGPT_task][1434]httpclient_post https://api.openai.com/v1/audio/speech success ! |
?場景應(yīng)用圖
?展示板照片
?方案方塊圖
?核心技術(shù)優(yōu)勢
品佳集團(tuán)代理的 MediaTek Genio 130（MT7931／MT7933）微處理器產(chǎn)品，為基于Arm Cortex-M33架構(gòu)處理器，時(shí)脈可達(dá)300MHz，內(nèi)建最高8MB UHS PSRAM，提供高效運(yùn)算能力。并提供 WiFi 6、BT 5.2 等無線連接技術(shù)，并具備雙頻（2.4GHz 和 5GHz）連接；此外，Genio 130 （MT7933 版本）內(nèi)建 HiFi4 DSP、3 個(gè) ADC、2 個(gè) DAC 通道，提供語音活動(dòng)檢測和觸發(fā)詞功能，適合開發(fā)支援語音助理云服務(wù)的 IoT 設(shè)備。
?方案規(guī)格
聯(lián)發(fā)科技（MediaTek）Genio 130 系列（MT7931／MT7933），具備： ? Arm Cortex-M33 處理器，時(shí)脈 300MHz ? Embedded 1MB SRAM and 8MB UHS（Ultra High Speed） PSRAM ? WiFi 6與雙頻 IEEE 802.11 a/b/g/n/ac/ax 2.4G/5G 連接子系統(tǒng) ? 藍(lán)牙 5.2 連接子系統(tǒng) ? Audio Cadence? Tensilica? HiFi4 DSP@600MHz（注一） ? 硬體加密引擎（AES／DES／3DES／SHA／ECC／TRNG） ? 電源管理單元 ? 支援 USB 2.0 OTG（注一） ? 豐富的周邊界面如: USB、SDIO、SPI master／slave、I2C、I2S、UART、AUXADC、PWM 以及 最多46組 GIPO ? 提供 FreeRTOS 及 Arduino 開發(fā) SDK 及多個(gè)范例專案，縮短開發(fā)時(shí)程 注一: HiFi4 DSP, USB 2.0 為 MT7933 支援之功能。
評論