高通持續(xù)推動終端側(cè)生成式AI變革，推出高通AI Hub賦能開發(fā)者

作者：時間：2024-02-26 來源：電子產(chǎn)品世界

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

要點：

本文引用地址：http://butianyuan.cn/article/202402/455722.htm

· 高通現(xiàn)賦能終端側(cè)AI在下一代PC、智能手機、軟件定義汽車、XR設(shè)備和物聯(lián)網(wǎng)等領(lǐng)域規(guī)模化商用，讓智能計算無處不在。

· 高通AI Hub為驍龍和高通平臺提供超過75個優(yōu)化AI模型，助力開發(fā)者縮短產(chǎn)品上市時間，并讓終端側(cè)AI的諸多優(yōu)勢在應(yīng)用程序上得以發(fā)揮。這些模型也將在Hugging Face和GitHub上提供。開發(fā)者只需通過幾行代碼即可在搭載高通平臺的云托管終端上自行運行這些模型。

· 高通AI研究（Qualcomm AI Research）演示了在Android智能手機和Windows PC上運行多模態(tài)大模型和定制大視覺模型。

2024年2月26日，巴塞羅那——高通技術(shù)公司在巴塞羅那世界移動通信大會（MWC）上發(fā)布了公司在AI領(lǐng)域的最新進展。從全新高通^?AI Hub、到前沿研究突破以及AI賦能的商用終端展示，高通技術(shù)公司正在為開發(fā)者賦能，并變革驍龍^?和高通平臺支持的廣泛終端品類上的用戶體驗。

高通技術(shù)公司高級副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉表示：“隨著面向智能手機的第三代驍龍8和面向PC的驍龍X Elite的推出，我們開啟了終端側(cè)AI的規(guī)?；逃谩，F(xiàn)在，借助高通AI Hub，我們將賦能開發(fā)者充分發(fā)揮這些前沿技術(shù)的潛力，打造具有吸引力的AI賦能應(yīng)用。高通AI Hub為開發(fā)者提供了一個全面的AI模型庫，使他們能夠輕松快速地將預(yù)優(yōu)化AI模型集成進應(yīng)用程序，從而打造更快、更可靠且更具隱私性的用戶體驗?！?/span>

高通AI Hub為開發(fā)者開啟卓越終端側(cè)AI性能

全新高通AI Hub包含預(yù)優(yōu)化AI模型庫，支持在搭載驍龍和高通平臺的終端上進行無縫部署。該模型庫為開發(fā)者提供超過75個主流的AI和生成式AI模型，比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B，可在不同執(zhí)行環(huán)境(runtime)中打包，能夠在不同形態(tài)終端中實現(xiàn)卓越的終端側(cè)AI性能、降低內(nèi)存占用并提升能效。所有模型均經(jīng)過優(yōu)化，以充分利用高通AI引擎內(nèi)所有核心（NPU、CPU和GPU）的硬件加速能力，從而使推理速度提升4倍。AI模型庫能夠自動處理從源框架到主流執(zhí)行環(huán)境的模型轉(zhuǎn)換，直接與高通AI引擎Direct SDK協(xié)同工作，并應(yīng)用硬件感知優(yōu)化。開發(fā)者可將這些模型無縫集成進應(yīng)用程序，縮短產(chǎn)品上市時間，發(fā)揮終端側(cè)AI部署的諸多優(yōu)勢，比如即時性、可靠性、隱私、個性化和成本優(yōu)勢。

這些優(yōu)化模型現(xiàn)已在高通AI Hub、GitHub和Hugging Face上提供。高通AI Hub將持續(xù)增加新模型，同時還將支持更多平臺和操作系統(tǒng)。開發(fā)者現(xiàn)可注冊登錄，在搭載高通技術(shù)公司平臺的云托管終端上自行運行模型，并通過高通AI Hub提前獲取新特性和AI模型。

Hugging Face聯(lián)合創(chuàng)始人兼CEO Clement Delangue表示：“我們很高興能夠在Hugging Face上托管高通技術(shù)公司的AI模型。這些主流AI模型面向終端側(cè)機器學(xué)習(xí)而優(yōu)化，并且可在驍龍和高通平臺上使用，將賦能下一代移動開發(fā)者和邊緣AI應(yīng)用，讓AI進一步惠及所有人?！?/span>

前沿AI研究進展

· 高通AI研究展示了首個在Android智能手機上運行的大語言和視覺助理大模型（LLaVA），這是一個超過70億參數(shù)的大型多模態(tài)語言模型（LMM），可接受包括文本和圖像在內(nèi)的多種類型的數(shù)據(jù)輸入，并能夠與AI助手生成關(guān)于圖像的多輪對話。該LMM能夠在終端側(cè)以實時響應(yīng)的速度生成token，從而增強了隱私、可靠性、個性化和成本優(yōu)勢。具有語言理解和視覺理解能力的LMM能夠賦能諸多用例，例如識別和討論復(fù)雜的視覺圖案、物體和場景。

· 高通AI研究還將展示高通首個在Android智能手機上運行的LoRA模型。通過運行支持LoRA的Stable Diffusion，用戶可基于個人或藝術(shù)偏好創(chuàng)建高質(zhì)量自定義圖像。LoRA減少了AI模型的可訓(xùn)練參數(shù)數(shù)量，賦能更加高效、可擴展、定制化的終端側(cè)生成式AI用例。除了能夠?qū)崿F(xiàn)針對不同的藝術(shù)風(fēng)格賦能語言視覺大模型（LVM）微調(diào)外，LoRA還廣泛適用于定制AI模型（如大語言模型），以打造量身定制的個人助手、改進語言翻譯等。

· 在Windows PC上，高通AI研究將展示全球首個在終端側(cè)運行的超過70億參數(shù)的大型多模態(tài)語言模型(LMM)，可接受文本和音頻輸入（如音樂、交通環(huán)境音頻等），并基于音頻內(nèi)容生成多輪對話。

在MWC巴塞羅那上展示跨終端品類賦能生成式AI

· 智能手機：高通技術(shù)公司將展示一系列搭載第三代驍龍^?8移動平臺的商用旗艦AI智能手機，包括榮耀Magic6 Pro、OPPO Find X7 Ultra和Xiaomi 14 Pro。每款終端都集成了令人興奮的生成式AI新特性，比如圖像擴充（小米）、智慧成片和一拖日程（榮耀）、AI消除（OPPO）。

· PC：全新驍龍X Elite及其45 TOPS NPU專為終端側(cè)AI打造，將變革用戶與PC的交互方式。高通技術(shù)公司將使用廣受歡迎的免費圖像編輯器GIMP集成Stable Diffusion插件進行演示：用戶可輸入想要的圖像，生成式AI將在7秒內(nèi)生成圖像，速度比x86競品快3倍。

· 汽車：利用行業(yè)領(lǐng)先的AI硬件和軟件解決方案，高通技術(shù)公司還將演示驍龍^?數(shù)字底盤^?平臺支持的傳統(tǒng)AI和生成式AI功能，旨在為駕乘人員提供更加強大、高效、隱私、安全且個性化的體驗。

· 消費級物聯(lián)網(wǎng)：公司將展示在驍龍平臺上運行的Humane AI Pin，讓用戶能夠在全新、對話式以及無屏的終端形態(tài)中隨時隨地使用AI。

· 連接：全新推出的驍龍X80調(diào)制解調(diào)器及射頻系統(tǒng)集成第二代5G AI處理器，助力提升蜂窩性能，擴大覆蓋范圍，降低時延并提高能效。高通還推出首個AI優(yōu)化的Wi-Fi 7系統(tǒng)——高通FastConnect^? 7900移動連接系統(tǒng)，利用AI為自適應(yīng)、高性能、低時延和低功耗的本地無線連接樹立新標桿。

· 5G基礎(chǔ)設(shè)施：高通技術(shù)公司將展示三項突破性的AI輔助網(wǎng)絡(luò)管理增強特性，包括助力無線接入網(wǎng)（RAN）工程師簡化網(wǎng)絡(luò)和切片管理任務(wù)的生成式AI助手，降低網(wǎng)絡(luò)能耗的AI輔助開放式RAN應(yīng)用程序（rApp），以及AI輔助5G網(wǎng)絡(luò)切片生命周期管理套件。