安霸發(fā)布N1系列生成式AI芯片,支持前端設備運行本地LLM應用

單顆 SoC 支持 1 至 340 億參數的多模態(tài)大模型（Multi-Modal LLM）推理，實現前端低功耗生成式 AI。

Ambarella (下稱“安霸”，專注 AI 視覺感知的半導體公司）于當天宣布，在 2024 國際消費電子展（CES）期間，展出在其新款 N1 系列 SoC 上運行多模態(tài)大模型（Multi-Modal LLM），其每次推理的功耗顯著低于當前市場的通用 GPU 解決方案。生成式 AI 是為了處理大規(guī)模數據集而最早應用于服務器上的變革性技術，而安霸的目標是將生成式 AI 部署于終端設備和本地硬件上，從而將其廣泛應用于視頻安防分析、機器人以及眾多工業(yè)領域。

安霸將在中高端 SoC 上提供已優(yōu)化的生成式 AI 處理。這些 AI SoC 包含了功耗低于 5 瓦的 CV72 芯片，以及最新的可應用于服務器端，功耗低于 50 瓦的 N1 芯片。與 GPU 及其他 AI 加速器相比，安霸提供了完整的 SoC 解決方案，每生成一個 token 的能效比最高可提高 3 倍，并可快捷、低成本地部署在終端產品中。

安霸首席技術官兼聯合創(chuàng)始人Les Kohn 表示：“生成式 AI 在我們的目標市場上實現了突破，之前無法想象的功能得以實現。使用我們的 N1 系列 SoC 來進行多模態(tài)大模型推理，將使所有的前端設備變得更智能，更低功耗，和更低成本。”

市場研究公司 Omdia 高級計算首席分析師 Alexander Harrowell 表示：“在未來 18 個月內，幾乎所有設備前端應用都將被生成式 AI 增強。把生成式 AI 的計算轉移到設備前端的要點，就在于每瓦的 AI 性能，以及它與前端生態(tài)系統(tǒng)其余部分的集成，而不僅僅是原始數據的吞吐量?！?/p>

所有安霸的 AI SoC 均可搭配全新的 Cooper? 開發(fā)平臺。此外，為了縮短客戶新產品上市的時間，安霸已預先移植和優(yōu)化了 Llama-2 等流行的大語言模型。其在 N1 芯片上運行的大語言和視覺助手 LLava 模型，可對多達 32 個攝像頭同時進行多模態(tài)視覺分析。這些經過預訓練和調優(yōu)的模型可從 Cooper Model Garden 下載。

在現實世界的眾多應用里，除了語言，視覺輸入也是一種關鍵模式。安霸 SoC 的特有架構非常適合以超低功耗同時運行視頻處理和 AI 計算。安霸的 AI SoC 并不是單一的 AI 加速器，它不僅能夠高效處理多模態(tài)大模型，還能同時執(zhí)行各種系統(tǒng)功能。

生成式 AI 將成為計算機視覺處理中跨越式的新技術，它可將上下文學習和場景理解應用于各種設備，從而涵蓋安防設施、自主機器人以及眾多工業(yè)應用?；诎舶?AI 芯片的設備端通過運行大語言模型和多模態(tài)處理可實現以下功能：安防視頻的上下文智能搜索、通過自然語言命令控制的機器人、以及多才多藝的AI助手，比如代碼、文本和圖像的生成等。 

這些依賴攝像頭和自然語言理解的系統(tǒng)，大部分將受益于設備前端的生成式 AI 處理，其處理速度得以提高，隱私保護得到加強，并且總成本也會降低。安霸解決方案支持的本地處理也非常適合垂直領域大語言模型，這些大語言模型通常需要針對每個具體應用場景進行調整；而傳統(tǒng)的集中式服務器方案則是使用更大、功耗更高的大語言模型來滿足不同用例的要求。

基于安霸最初為自動駕駛開發(fā)的 CV3-HD 架構，N1 系列 SoC 對總算力資源進行了針對性的優(yōu)化，從而以超極低功耗運行多模態(tài)大模型。例如，N1 SoC 在單流模式下以低于 50 瓦的功耗運行 Llama2-13B，每秒可推理 25 個 token。N1 解決方案自帶移植好的大模型，使系統(tǒng)整合更容易，因此它可快速幫助 OEM 廠商部署生成式 AI，特別是要求低功耗的各種應用，比如自帶本地應用的 AI 智能盒子、送貨機器人等，不一而足。

本周，安霸將在 CES 展會期間持續(xù)演示 N1 SoC 及其多模態(tài)大模型功能。