研華AIR-520邊緣AI服務器，以GenAI和LLM為引擎，提升市民服務效率

當市政府推出一項新政策時，通常需要許多客戶服務代表了解政策的具體情況，以解決公眾咨詢。在公民服務熱線中部署生成式AI支持的人機協(xié)作系統(tǒng)可以顯著提高效率、可用性、準確性并進一步實現(xiàn)服務個性化。

AI客服技術簡化了資源分配，可擴展以應對不斷增長的需求，并通過數(shù)據(jù)分析提供有價值的見解。因此，它增強了公民的整體體驗，確保他們收到及時準確的信息，同時讓客服代表騰出時間專注于更復雜的工作任務。

項目挑戰(zhàn)

市政府在采用人工智能技術時面臨著以下幾個困難：

◆ 缺乏技術基礎設施和專業(yè)知識： 實施人工智能需要先進的技術基礎設施和技術熟練的人員，而獲取和維護這些設施和人員的成本可能很高，且具有挑戰(zhàn)性。

◆ 反應偏差：LLMs 可能會從其訓練數(shù)據(jù)中繼承偏差，從而導致有偏差或歧視性的答案反饋。這可能導致誤解和公民投訴，損害信任和信譽。

◆ 持續(xù)訓練和更新： 法律顧問需要定期更新和再訓練，以跟上新的政策、法規(guī)和新出現(xiàn)的問題。這需要對數(shù)據(jù)收集和模型改進進行持續(xù)投資。

研華解決方案

為了克服這些挑戰(zhàn)，客戶選擇了 AIR-520 LLM 微調(diào)解決方案，其中包括以下組件：

◆ 配備 aiDAPTIV+ ai100 AI 固態(tài)硬盤的 AIR-520 邊緣 AI 服務器系統(tǒng)： 這款服務器級系統(tǒng)配備了 ai100 固態(tài)硬盤和專利中間件，為內(nèi)部模型訓練和微調(diào)提供了簡單而經(jīng)濟高效的解決方案。

◆ 用于模型微調(diào)的無代碼圖形用戶界面： 用戶友好的無代碼圖形用戶界面（GUI）使客戶能夠利用本地數(shù)據(jù)集對人工智能模型進行微調(diào)，從而提高生成內(nèi)容的質(zhì)量和準確性。

◆ ISV 合作實現(xiàn)定制化內(nèi)部部署 LLM：結合 ISV 合作伙伴提供的定制化 LLM 服務，研華通過提供全面的軟件包，幫助客戶消除技術障礙，使其能夠快速進入市場，而不會出現(xiàn)兼容性或集成問題。集成解決方案實現(xiàn)了訓練流程自動化，加快了部署速度，并通過在邊緣收集歷史問答和內(nèi)容更正，不斷提高服務質(zhì)量。

方案優(yōu)勢

通過采用研華解決方案，可以給客戶帶來：

◆ 釋放 80% 的人力資源：通過處理日常查詢，LLMs讓人工客戶服務代表能夠?qū)Ｗ⒂谛枰斯づ袛嗪托枰獡Q位思考的更復雜、高優(yōu)先級的案例。

◆ 7 x 24小時可用性： 在 AIR-520 上運行的 LLM 提供全天候支持，確保公民可以隨時獲得幫助，即使是在正常辦公時間之外。這提高了可訪問性和響應速度。

◆ 經(jīng)過驗證的打包解決方案：研華和 ISV 提供了一個集成的端到端解決方案，以確保順利開發(fā)、部署和持續(xù)改進。

本地大型語言模型（LLM）邊緣AI服務器AIR-520，以其創(chuàng)新的設計理念，提供了一個既經(jīng)濟又高效的解決方案。該方案不僅支持大型語言模型的微調(diào)訓練，而且無需專用機房，可以直接部署在部門使用，大幅降低了企業(yè)引入AI技術的門檻。