智能硬件大模型語音交互流程自定義編排（基礎(chǔ)篇）

本篇文章主要講解怎么在聆思大模型平臺LSPlatform上實現(xiàn)自定義大模型應(yīng)用開發(fā)，包含云端節(jié)點的輸入輸出，以及怎樣在實際應(yīng)用落地的時候怎么做調(diào)試、debug和錯誤捕獲。

如果想了解有哪些現(xiàn)成示例可以使用，可以參考之前分享的文章。

左邊側(cè)邊欄的節(jié)點模塊是編排應(yīng)用需要用到的一些節(jié)點，這些節(jié)點封裝了對應(yīng)功能，例如提示詞節(jié)點，它的作用是將輸入通過該節(jié)點處理后組裝成所需的prompt提示詞進(jìn)行輸出。

中間是流程編排區(qū)，新建或?qū)?dǎo)入的模塊進(jìn)行自定義修改就在此區(qū)域進(jìn)行。

在編排區(qū)點擊對應(yīng)的節(jié)點，會在右側(cè)彈出編輯框，可以進(jìn)行對應(yīng)功能的編輯。

如下圖所示，每個節(jié)點通常包含幾個方面：首先是節(jié)點屬性欄，其中包括節(jié)點的各種操作設(shè)置；其次是幫助信息部分，每個節(jié)點都會提供相應(yīng)的幫助說明，明確該節(jié)點所需輸入數(shù)據(jù)格式以及輸出內(nèi)容將包含在哪個JSON文件中。

以提示詞節(jié)點為例，根據(jù)節(jié)點幫助信息的指導(dǎo)，需要在輸入時構(gòu)造相應(yīng)格式的數(shù)據(jù)，并將其存放在message.payload中。假設(shè)需要調(diào)試一個包含"a"和"b"鍵的提示詞，可以在此創(chuàng)建一個包含"a"和"b"值的JSON作為輸入，連接到提示詞節(jié)點的輸入端。

對于其他封裝節(jié)點，我們可以通過點擊節(jié)點查看其相關(guān)屬性，并通過幫助信息了解節(jié)點輸入輸出詳細(xì)格式，這對于后續(xù)編寫復(fù)雜鏈路和數(shù)據(jù)獲取至關(guān)重要。例如知識庫問答節(jié)點打開后按照項目名填入對應(yīng)信息即可加入鏈路使用。

在調(diào)試過程中，我們可以使用【inject】觸發(fā)輸入進(jìn)行測試。如下圖所示，部署后，可以直接點擊時間戳前面的方框觸發(fā)鏈路編排，激活從某一節(jié)點開始，經(jīng)過配置的節(jié)點，最終到達(dá)提示詞節(jié)點。

成功請求后，若需查看輸出結(jié)果，可以在調(diào)試階段引入一個debug節(jié)點，然后再次部署并觸發(fā)，以查看鏈路執(zhí)行結(jié)果。

在右側(cè)側(cè)邊欄的debug部分，可查看所添加的debug節(jié)點輸出的信息，它會將上游節(jié)點的輸出作為自身輸入，并將其內(nèi)容記錄在日志中。這里顯示的日志內(nèi)容包括msg.payload中的JSON，即經(jīng)過提示詞節(jié)點模板渲染后的輸出結(jié)果。

先參考下圖把對應(yīng)節(jié)點拉入編排區(qū)

打開【function】節(jié)點在模擬調(diào)試時，我們需要對數(shù)據(jù)進(jìn)行處理，根據(jù)【星火大模型】調(diào)用節(jié)點的輸入要求準(zhǔn)備數(shù)據(jù)。打開星火大模型節(jié)點的幫助文件，可以看到輸入為帶messages數(shù)組的JSON格式，而輸出則為標(biāo)準(zhǔn)模型對話格式。

例如使用“1+2等于多少”作為示例數(shù)據(jù)，打開【function 1】節(jié)點配置，隨后利用debug節(jié)點觀察輸出結(jié)果，這有助于應(yīng)用開發(fā)過程中的調(diào)試工作。

如下圖觸發(fā)后，可以看到debug節(jié)點接收到多幀數(shù)據(jù)，這表明節(jié)點配置了流式返回。在debug節(jié)點中可以觀察到流式返回的內(nèi)容。

若不需要流式返回，可關(guān)閉此選項再次觸發(fā)，此時debug節(jié)點展示的輸出為標(biāo)準(zhǔn)對話輸出格式。從中可以觀察到msg.payload中choices 數(shù)組的message的content字段包含了模型的實際輸出結(jié)果。

我們可以用function節(jié)點來改變輸入和輸出。例如在上圖中的【function 2】節(jié)點，將模型輸出的content字段復(fù)制到massage.payload中作為輸出。

檢查function節(jié)點處理后的輸出結(jié)果，可以看到輸出已經(jīng)按照預(yù)期改變了結(jié)構(gòu)，直接顯示為模型生成的文本內(nèi)容。

鏈路應(yīng)用開發(fā)技巧包括使用前置觸發(fā)器啟動流程、引入function節(jié)點修改數(shù)據(jù)結(jié)構(gòu)、編寫鏈路，以及使用debug節(jié)點逐項檢查每個節(jié)點的輸出并進(jìn)行調(diào)試，從而形成完整的工作鏈路。

配套講解視頻【聆思大模型平臺LSPlatform云端節(jié)點編排教程上集 —— 基礎(chǔ)節(jié)點使用-】 https://b23.tv/x8Dg0jp