研華AIR-520邊緣AI服務(wù)器，以GenAI和LLM為引擎，提升市民服務(wù)效率

當(dāng)市政府推出一項新政策時，通常需要許多客戶服務(wù)代表了解政策的具體情況，以解決公眾咨詢。在公民服務(wù)熱線中部署生成式AI支持的人機(jī)協(xié)作系統(tǒng)可以顯著提高效率、可用性、準(zhǔn)確性并進(jìn)一步實現(xiàn)服務(wù)個性化。

AI客服技術(shù)簡化了資源分配，可擴(kuò)展以應(yīng)對不斷增長的需求，并通過數(shù)據(jù)分析提供有價值的見解。因此，它增強(qiáng)了公民的整體體驗，確保他們收到及時準(zhǔn)確的信息，同時讓客服代表騰出時間專注于更復(fù)雜的工作任務(wù)。

項目挑戰(zhàn)

市政府在采用人工智能技術(shù)時面臨著以下幾個困難：

◆ 缺乏技術(shù)基礎(chǔ)設(shè)施和專業(yè)知識： 實施人工智能需要先進(jìn)的技術(shù)基礎(chǔ)設(shè)施和技術(shù)熟練的人員，而獲取和維護(hù)這些設(shè)施和人員的成本可能很高，且具有挑戰(zhàn)性。

◆ 反應(yīng)偏差：LLMs 可能會從其訓(xùn)練數(shù)據(jù)中繼承偏差，從而導(dǎo)致有偏差或歧視性的答案反饋。這可能導(dǎo)致誤解和公民投訴，損害信任和信譽(yù)。

◆ 持續(xù)訓(xùn)練和更新： 法律顧問需要定期更新和再訓(xùn)練，以跟上新的政策、法規(guī)和新出現(xiàn)的問題。這需要對數(shù)據(jù)收集和模型改進(jìn)進(jìn)行持續(xù)投資。

研華解決方案

為了克服這些挑戰(zhàn)，客戶選擇了 AIR-520 LLM 微調(diào)解決方案，其中包括以下組件：

◆ 配備 aiDAPTIV+ ai100 AI 固態(tài)硬盤的 AIR-520 邊緣 AI 服務(wù)器系統(tǒng)： 這款服務(wù)器級系統(tǒng)配備了 ai100 固態(tài)硬盤和專利中間件，為內(nèi)部模型訓(xùn)練和微調(diào)提供了簡單而經(jīng)濟(jì)高效的解決方案。

◆ 用于模型微調(diào)的無代碼圖形用戶界面： 用戶友好的無代碼圖形用戶界面（GUI）使客戶能夠利用本地數(shù)據(jù)集對人工智能模型進(jìn)行微調(diào)，從而提高生成內(nèi)容的質(zhì)量和準(zhǔn)確性。

◆ ISV 合作實現(xiàn)定制化內(nèi)部部署 LLM：結(jié)合 ISV 合作伙伴提供的定制化 LLM 服務(wù)，研華通過提供全面的軟件包，幫助客戶消除技術(shù)障礙，使其能夠快速進(jìn)入市場，而不會出現(xiàn)兼容性或集成問題。集成解決方案實現(xiàn)了訓(xùn)練流程自動化，加快了部署速度，并通過在邊緣收集歷史問答和內(nèi)容更正，不斷提高服務(wù)質(zhì)量。

方案優(yōu)勢

通過采用研華解決方案，可以給客戶帶來：

◆ 釋放 80% 的人力資源：通過處理日常查詢，LLMs讓人工客戶服務(wù)代表能夠?qū)Ｗ⒂谛枰斯づ袛嗪托枰獡Q位思考的更復(fù)雜、高優(yōu)先級的案例。

◆ 7 x 24小時可用性： 在 AIR-520 上運行的 LLM 提供全天候支持，確保公民可以隨時獲得幫助，即使是在正常辦公時間之外。這提高了可訪問性和響應(yīng)速度。

◆ 經(jīng)過驗證的打包解決方案：研華和 ISV 提供了一個集成的端到端解決方案，以確保順利開發(fā)、部署和持續(xù)改進(jìn)。

本地大型語言模型（LLM）邊緣AI服務(wù)器AIR-520，以其創(chuàng)新的設(shè)計理念，提供了一個既經(jīng)濟(jì)又高效的解決方案。該方案不僅支持大型語言模型的微調(diào)訓(xùn)練，而且無需專用機(jī)房，可以直接部署在部門使用，大幅降低了企業(yè)引入AI技術(shù)的門檻。