芯原股份：滿足邊緣智能算力所需 有效控制成本功耗

作為人工智能的一個子集，邊緣智能專注于在數(shù)據(jù)產(chǎn)生的位置（即網(wǎng)絡的“邊緣”）進行數(shù)據(jù)處理和分析，邊緣智能的優(yōu)勢在于它能夠提供低延遲、高可靠性的數(shù)據(jù)處理，同時由于減少了數(shù)據(jù)在網(wǎng)絡中的傳輸，可有效保護數(shù)據(jù)隱私。此外，邊緣智能可以在沒有網(wǎng)絡連接或網(wǎng)絡不穩(wěn)定的情況下工作，這對于某些應用場景至關(guān)重要。芯原微電子（上海）股份有限公司（簡稱“芯原股份”或“芯原”）執(zhí)行副總裁、業(yè)務運營部總經(jīng)理汪洋認為，相比于大模型等人工智能應用，邊緣智能的應用場景主要集中在對實時性、安全性和隱私性要求較高的領(lǐng)域，除了如手機、電腦等個人消費電子，還包括智能家居、工業(yè)自動化、車聯(lián)網(wǎng)、智慧城市、醫(yī)療健康、農(nóng)業(yè)等，可以為各行各業(yè)帶來更高效、更智能的解決方案。

芯原執(zhí)行副總裁、業(yè)務運營部總經(jīng)理汪洋 

汪洋強調(diào)道，芯原作為一家領(lǐng)先的芯片設(shè)計服務，在開發(fā)邊緣智能應用相關(guān)的IP時，充分參考邊緣智能應用場景的實際需求，致力于在算力、功耗和成本之間取得平衡，基于這樣的設(shè)計出發(fā)點著重采取了如下三種策略。

優(yōu)化架構(gòu)設(shè)計：通過創(chuàng)新的微架構(gòu)設(shè)計，提高處理器的指令執(zhí)行效率和吞吐量，在滿足性能要求的同時減少不必要的功耗。

持續(xù)針對應用場景優(yōu)化一系列的專用AI加速處理器：公司推出的專用AI加速器包括神經(jīng)網(wǎng)絡處理器（NPU）IP、高性能圖形處理器（GPU）IP、GPGPU IP和創(chuàng)新的AI GPU IP子系統(tǒng)等，以針對AI工作負載提供高效的硬件支持，減少CPU/GPU的負擔，從而降低總體功耗。

采用Chiplet架構(gòu)：隨著各行各業(yè)進入人工智能升級的關(guān)鍵時期，市場對于大算力的需求急劇增長。在此背景下，集成電路行業(yè)正經(jīng)歷從SoC（系統(tǒng)級芯片）向SiP（系統(tǒng)級封裝）的轉(zhuǎn)型，這一轉(zhuǎn)變是出于對高性能單芯片集成度與復雜性的提升、性能與功耗的優(yōu)化、良率與設(shè)計/制造成本改善等多方面的考量。

芯原既有豐富、優(yōu)質(zhì)的大量自有處理器IP，又有在14nm/10nm/7nm/5nm FinFET和28nm/22nm FD-SOI等先進工藝制程的豐富設(shè)計流片經(jīng)驗，因此在布局Chiplet方面，有充分的技術(shù)根基和先發(fā)優(yōu)勢，同時也是針對市場需求的順勢而為。汪洋表示芯原已在Chiplet領(lǐng)域進行了較長時間的調(diào)研和布局。公司創(chuàng)始人、董事長兼總裁戴偉民本人也曾是世界電子工程師協(xié)會（IEEE）多芯片模塊國際會議的創(chuàng)辦主席，以及IEEE芯片封裝綜合設(shè)計研討會的創(chuàng)辦主席，并于業(yè)界首次提出了“系統(tǒng)級封裝（SiP）”這一專業(yè)術(shù)語。Chiplet則是SiP技術(shù)發(fā)展至今的重要表現(xiàn)形式之一。芯原正在以“IP芯片化（IP as a Chiplet）”、“芯片平臺化（Chiplet as a Platform）”和“平臺生態(tài)化（Platform as an Ecosystem）”理念為行動指導方針，從接口IP、Chiplet芯片架構(gòu)、先進封裝技術(shù)、面向AIGC和智慧出行的解決方案等方面入手，持續(xù)推進公司Chiplet技術(shù)、項目的發(fā)展和產(chǎn)業(yè)化。目前芯原已經(jīng)取得了部分技術(shù)成果，并已經(jīng)形成了產(chǎn)業(yè)化的客戶芯片產(chǎn)品。

汪洋還提到了芯原在開發(fā)邊緣智能應用相關(guān)芯片設(shè)計解決方案時，所采取的其他技術(shù)方面的舉措：比如根據(jù)不同應用場景提供創(chuàng)新的電源管理域來極大地減少靜態(tài)和動態(tài)功耗；基于芯原從IP到芯片設(shè)計的一站式技術(shù)平臺，實現(xiàn)算法、硬件和軟件的協(xié)同設(shè)計，確保三者高效協(xié)同工作，減少不必要的計算和數(shù)據(jù)移動；通過可伸縮、可擴展的架構(gòu)設(shè)計，使客戶可以根據(jù)自己的需求在成本和性能之間做出權(quán)衡，并靈活增添自己的技術(shù)模塊等。通過上述方法，芯原可以在確保邊緣智能應用所需的算力的同時，有效控制功耗和成本，滿足市場對高性能、低功耗和成本效益的邊緣智能芯片的需求。

據(jù)介紹，作為全球領(lǐng)先的一站式芯片定制服務和半導體IP授權(quán)服務企業(yè)，芯原擁有豐富的處理器IP儲備，包括圖形處理器IP（GPU IP）、神經(jīng)網(wǎng)絡處理器IP（NPU IP）、視頻處理器IP（VPU IP）、數(shù)字信號處理器IP（DSP IP）、圖像信號處理器IP（ISP IP）和顯示處理器IP（Display Processor IP）這六大類處理器IP。特別的，芯原的六大類處理器IP可以進行原生協(xié)同工作，在流水線級做深度耦合，并開放接口給客戶，使得客戶可以集成自己的IP。針對IP間的高效協(xié)同工作，芯原還開發(fā)了統(tǒng)一幀緩沖壓縮（Unified Frame Buffer Compression）技術(shù)，通過無損或有損壓縮來連接所有像素處理器IP，以最大限度地減少SoC的整體DDR帶寬，并實現(xiàn)高性能計算。此外，芯原還開發(fā)了FLEXA同步接口通信技術(shù)，用以高效地連接多個IP，從而形成面向低延時、低帶寬和低功耗應用的子系統(tǒng)解決方案。憑借芯原在像素處理方面的關(guān)鍵技術(shù)和先進的嵌入式人工智能解決方案，公司推出了一系列創(chuàng)新的AI-ISP、AI-GPU、AI-Display、AI-Video 等IP子系統(tǒng)。

進入2023年，生成式AI的興起為邊緣端設(shè)備芯片制造商帶來了新的技術(shù)要求，比如包括大量的浮點運算和矩陣運算的高性能計算能力、邊緣處理器可能需要集成專用的高效AI加速器或神經(jīng)網(wǎng)絡處理器（NPU）、高效的存儲器訪問機制和帶寬節(jié)省技術(shù)以及諸如更快的實時處理能力以及更高的安全性等。針對這些市場需求，汪洋介紹，芯原已經(jīng)全面布局了AIoT和AIGC計算領(lǐng)域，主要成就包括以下幾個方面。

在AIoT領(lǐng)域，芯原用于人工智能的神經(jīng)網(wǎng)絡處理器IP（NPU）業(yè)界領(lǐng)先，已被72家客戶用于其128款人工智能芯片中，集成了芯原NPU IP的人工智能（AI）類芯片已在全球范圍內(nèi)出貨超過1億顆，這些內(nèi)置芯原NPU的芯片主要應用于物聯(lián)網(wǎng)、可穿戴設(shè)備、智慧電視、智慧家居、安防監(jiān)控、服務器、汽車電子、智能手機、平板電腦、智慧醫(yī)療這十個市場領(lǐng)域。在全球頂尖的蘇黎世聯(lián)邦理工學院（ETH Zurich）計算機視覺實驗室（Computer Vision Lab）發(fā)布的《AI Benchmark IoT性能榜單》中，位列前5的處理器中就有3款芯片內(nèi)置了芯原的神經(jīng)網(wǎng)絡處理IP。

根據(jù)目前邊緣人工智能市場的需求，芯原基于自身神經(jīng)網(wǎng)絡處理器IP可伸縮可擴展的特性，已發(fā)展了覆蓋從高性能云計算到低功耗邊緣計算的垂直解決方案；結(jié)合芯原多年來在多媒體處理領(lǐng)域的技術(shù)和IP積累，公司還推出了從攝像頭輸入到顯示器輸出（Glass-to-Glass）的完整的智能像素處理平臺。此外，芯原的NPU IP與GPU IP、VPU IP等有機結(jié)合，可創(chuàng)新性地大幅提高后者的處理性能。例如，公司基于自研的GPU IP和NPU IP，推出了創(chuàng)新的AI GPU IP子系統(tǒng)，以應對人工智能不斷發(fā)展的應用需求。

針對AIGC應用，大算力是支撐其快速發(fā)展演進的根基。OpenAI預估人工智能應用對算力的需求每3.5個月翻一倍，每年增長近10倍，這也極大地提升了GPGPU的市場應用空間，并對其性能提出了更高的要求。GPGPU利用圖形處理器進行非圖形渲染的高性能計算，具有很好的高強度并行運算能力，非常適用于處理人工智能、專業(yè)計算加速等應用。芯原基于約20年GPU的研發(fā)經(jīng)驗，所推出的GPGPU IP可提供從低功耗嵌入式設(shè)備到高性能服務器的計算能力，以高度可擴展的IP核重新定義了計算市場，以滿足廣泛的人工智能計算需求。

針對人工智能產(chǎn)業(yè)所面臨的安全性和隱私性等問題，芯原還與谷歌合作以支持谷歌新推出的開源項目Open Se Cura。該項目是一個由設(shè)計工具和IP庫組成的開源框架，旨在加速安全、可擴展、透明和高效的人工智能系統(tǒng)的發(fā)展。作為該項目基礎(chǔ)設(shè)施的一部分，芯原提供了多個IP、低功耗芯片設(shè)計、板級支持包（BSP），并負責推動該項目的商業(yè)化。

針對AIGC在邊緣側(cè)的應用，汪洋認為AIGC模型的訓練主要在云端進行，邊緣智能硬件除了可以進行機器學習、神經(jīng)網(wǎng)絡加速等，也可以針對AIGC模型進行微調(diào)和推理，但是這需要高性能的計算芯片來作支撐。針對AIGC在云端、邊緣端的部署，芯原為客戶提供從驅(qū)動層到工具庫，再到應用層軟件的全面支持。其中，芯原提供一個全自主研發(fā)的模型部署工具鏈Acuity，包含模型轉(zhuǎn)換、模型量化壓縮、圖優(yōu)化、圖編譯等功能，可以快速幫助用戶實現(xiàn)從模型到部署。支持Pytorch、Tensorflow、ONNX、TFLite等所有主流框架。針對AIGC類的大模型還支持4bit Group Quantization以及混合精度等功能，在盡量保證精度的情況下進一步壓縮模型大小。通過Acuity工具鏈編譯產(chǎn)生的Network Binary Graph(NBG)可以直接部署在VIPLite 運行時來完成端測推理。VIPLite 是一個超輕量的推理runtime，運行時的內(nèi)存消耗最小約為200KB，支持Linux、RTOS甚至BareMetal。

針對邊緣智能不斷變化和增長的市場需求，汪洋直言，芯原將從多個維度持續(xù)升級和優(yōu)化自有的技術(shù)。包括但不限于推出商用化的Chiplet解決方案，持續(xù)優(yōu)化NPU、GPU、GPGPU、AI子系統(tǒng)等IP解決方案，通過為客戶提供兼顧性能與能效比，具有增強的安全性能，支持更多AI框架，包括硬件、軟件和開發(fā)環(huán)境在內(nèi)的整體解決方案，來不斷強化芯原在邊緣智能領(lǐng)域的市場地位。