新聞中心

EEPW首頁 > 智能計算 > 業(yè)界動態(tài) > 通義千問首次落地天璣9300移動平臺

通義千問首次落地天璣9300移動平臺

—— 阿里云攜手MediaTek探索端側AI智能體
作者: 時間:2024-03-28 來源: 收藏

3月28日,與知名半導體公司聯(lián)合宣布,18億、40億參數大模型已成功部署進移動平臺,可離線流暢運行即時且精準的多輪對話應用,連續(xù)推理功耗增量不到3W,實現手機體驗的大幅提升。這是通義大模型首次完成芯片級的軟硬適配,僅依靠終端算力便能擁有極佳的推理性能及功耗表現,標志著Model-on-Chip的探索正式從驗證走向商業(yè)化落地新階段。

本文引用地址:http://www.butianyuan.cn/article/202403/456936.htm

圖片.png 

端側是大模型落地的極具潛力的場景之一。利用終端算力進行AI推理,可大幅降低推理成本、保證數據安全并提升AI響應速度,讓大模型可以更好地為用戶提供個性化體驗。然而,要將大模型部署并運行在終端,需完成從底層芯片到上層操作系統(tǒng)及應用開發(fā)的軟硬一體深度適配,存在技術未打通、算子不支持、開發(fā)待完善等諸多挑戰(zhàn)。

據了解,18億參數開源大模型,在多個權威測試集上性能表現遠超此前SOTA模型,且推理2048 token最低僅用1.8G內存,是一款低成本、易于部署、商業(yè)化友好的小尺寸模型。集成第七代AI處理器APU790,生成式AI處理速度是上一代AI處理器的8倍。

阿里巴巴通義實驗室業(yè)務負責人徐棟介紹稱,在模型瘦身、工具鏈優(yōu)化、推理優(yōu)化、內存優(yōu)化、算子優(yōu)化等多個維度展開合作,實現了基于AI處理器的高效異構加速,真正把大模型“裝進”并運行在手機芯片中,給業(yè)界成功打樣端側AI的Model-on-Chip部署新模式。

 圖片.png

圖:在設備上,可離線完成基于大模型的AI多輪會話

基于天璣9300芯片,通義千問18億參數大模型在推理方面表現出了極佳的性能與功耗表現,推理時CPU占有率僅為30%左右,RAM占用少于2GB,推理速度超過20tokens/秒,系列指標均達到業(yè)界領先水平,可在離線環(huán)境下流暢實現多輪AI對話。據了解,相關成果將以SDK的形式提供給手機廠商和開發(fā)者。

此外,雙方團隊也已完成了通義千問40億參數大模型與天璣9300的適配,未來還將基于天璣適配70億等更多尺寸大模型,“打樣”并支持開發(fā)更多AI智能體及應用。

MediaTek無線通信事業(yè)部副總經理李彥輯博士表示:“的通義系列大模型是AI領域的佼佼者,我們期待通過雙方的合作可以為應用開發(fā)者和終端客戶提供更強大的硬件和軟件解決方案,同時促進生成式AI的端側部署以及AI應用、AI智能體生態(tài)的快速發(fā)展,為用戶帶來更多令人興奮的AI產品體驗。”

當天,阿里云與MediaTek宣布啟動聯(lián)合探索AI智能體解決方案計劃,整合MediaTek天璣移動平臺的AI算力及阿里云通義千問的大模型能力,為開發(fā)者和企業(yè)提供更完善的軟硬聯(lián)合開發(fā)平臺,以更好支持智能終端在端側高能效地實現自然語言理解、復雜決策制定以及個性化服務生成,探索打造真正具備情境感知、自主學習和實時交互功能的下一代智能終端應用生態(tài)。

通義大模型已在各行業(yè)廣泛落地,包括釘釘、淘寶、一汽紅旗、央視網、浙江大學等眾多應用、企業(yè)及機構?!疤詫殕枂枴被谕x千問實現了全新的交互體驗以及更精準的推薦;阿里云與中國一汽聯(lián)合打造的大模型應用GPT-BI已率先落地,可結合企業(yè)數據自動生成分析圖表。



評論


相關推薦

技術專區(qū)

關閉