芯原股份：滿足邊緣智能算力所需 有效控制成本功耗

作為人工智能的一個(gè)子集，邊緣智能專注于在數(shù)據(jù)產(chǎn)生的位置（即網(wǎng)絡(luò)的“邊緣”）進(jìn)行數(shù)據(jù)處理和分析，邊緣智能的優(yōu)勢(shì)在于它能夠提供低延遲、高可靠性的數(shù)據(jù)處理，同時(shí)由于減少了數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸，可有效保護(hù)數(shù)據(jù)隱私。此外，邊緣智能可以在沒有網(wǎng)絡(luò)連接或網(wǎng)絡(luò)不穩(wěn)定的情況下工作，這對(duì)于某些應(yīng)用場(chǎng)景至關(guān)重要。芯原微電子（上海）股份有限公司（簡(jiǎn)稱“芯原股份”或“芯原”）執(zhí)行副總裁、業(yè)務(wù)運(yùn)營(yíng)部總經(jīng)理汪洋認(rèn)為，相比于大模型等人工智能應(yīng)用，邊緣智能的應(yīng)用場(chǎng)景主要集中在對(duì)實(shí)時(shí)性、安全性和隱私性要求較高的領(lǐng)域，除了如手機(jī)、電腦等個(gè)人消費(fèi)電子，還包括智能家居、工業(yè)自動(dòng)化、車聯(lián)網(wǎng)、智慧城市、醫(yī)療健康、農(nóng)業(yè)等，可以為各行各業(yè)帶來更高效、更智能的解決方案。

芯原執(zhí)行副總裁、業(yè)務(wù)運(yùn)營(yíng)部總經(jīng)理汪洋 

汪洋強(qiáng)調(diào)道，芯原作為一家領(lǐng)先的芯片設(shè)計(jì)服務(wù)，在開發(fā)邊緣智能應(yīng)用相關(guān)的IP時(shí)，充分參考邊緣智能應(yīng)用場(chǎng)景的實(shí)際需求，致力于在算力、功耗和成本之間取得平衡，基于這樣的設(shè)計(jì)出發(fā)點(diǎn)著重采取了如下三種策略。

優(yōu)化架構(gòu)設(shè)計(jì)：通過創(chuàng)新的微架構(gòu)設(shè)計(jì)，提高處理器的指令執(zhí)行效率和吞吐量，在滿足性能要求的同時(shí)減少不必要的功耗。

持續(xù)針對(duì)應(yīng)用場(chǎng)景優(yōu)化一系列的專用AI加速處理器：公司推出的專用AI加速器包括神經(jīng)網(wǎng)絡(luò)處理器（NPU）IP、高性能圖形處理器（GPU）IP、GPGPU IP和創(chuàng)新的AI GPU IP子系統(tǒng)等，以針對(duì)AI工作負(fù)載提供高效的硬件支持，減少CPU/GPU的負(fù)擔(dān)，從而降低總體功耗。

采用Chiplet架構(gòu)：隨著各行各業(yè)進(jìn)入人工智能升級(jí)的關(guān)鍵時(shí)期，市場(chǎng)對(duì)于大算力的需求急劇增長(zhǎng)。在此背景下，集成電路行業(yè)正經(jīng)歷從SoC（系統(tǒng)級(jí)芯片）向SiP（系統(tǒng)級(jí)封裝）的轉(zhuǎn)型，這一轉(zhuǎn)變是出于對(duì)高性能單芯片集成度與復(fù)雜性的提升、性能與功耗的優(yōu)化、良率與設(shè)計(jì)/制造成本改善等多方面的考量。

芯原既有豐富、優(yōu)質(zhì)的大量自有處理器IP，又有在14nm/10nm/7nm/5nm FinFET和28nm/22nm FD-SOI等先進(jìn)工藝制程的豐富設(shè)計(jì)流片經(jīng)驗(yàn)，因此在布局Chiplet方面，有充分的技術(shù)根基和先發(fā)優(yōu)勢(shì)，同時(shí)也是針對(duì)市場(chǎng)需求的順勢(shì)而為。汪洋表示芯原已在Chiplet領(lǐng)域進(jìn)行了較長(zhǎng)時(shí)間的調(diào)研和布局。公司創(chuàng)始人、董事長(zhǎng)兼總裁戴偉民本人也曾是世界電子工程師協(xié)會(huì)（IEEE）多芯片模塊國(guó)際會(huì)議的創(chuàng)辦主席，以及IEEE芯片封裝綜合設(shè)計(jì)研討會(huì)的創(chuàng)辦主席，并于業(yè)界首次提出了“系統(tǒng)級(jí)封裝（SiP）”這一專業(yè)術(shù)語。Chiplet則是SiP技術(shù)發(fā)展至今的重要表現(xiàn)形式之一。芯原正在以“IP芯片化（IP as a Chiplet）”、“芯片平臺(tái)化（Chiplet as a Platform）”和“平臺(tái)生態(tài)化（Platform as an Ecosystem）”理念為行動(dòng)指導(dǎo)方針，從接口IP、Chiplet芯片架構(gòu)、先進(jìn)封裝技術(shù)、面向AIGC和智慧出行的解決方案等方面入手，持續(xù)推進(jìn)公司Chiplet技術(shù)、項(xiàng)目的發(fā)展和產(chǎn)業(yè)化。目前芯原已經(jīng)取得了部分技術(shù)成果，并已經(jīng)形成了產(chǎn)業(yè)化的客戶芯片產(chǎn)品。

汪洋還提到了芯原在開發(fā)邊緣智能應(yīng)用相關(guān)芯片設(shè)計(jì)解決方案時(shí)，所采取的其他技術(shù)方面的舉措：比如根據(jù)不同應(yīng)用場(chǎng)景提供創(chuàng)新的電源管理域來極大地減少靜態(tài)和動(dòng)態(tài)功耗；基于芯原從IP到芯片設(shè)計(jì)的一站式技術(shù)平臺(tái)，實(shí)現(xiàn)算法、硬件和軟件的協(xié)同設(shè)計(jì)，確保三者高效協(xié)同工作，減少不必要的計(jì)算和數(shù)據(jù)移動(dòng)；通過可伸縮、可擴(kuò)展的架構(gòu)設(shè)計(jì)，使客戶可以根據(jù)自己的需求在成本和性能之間做出權(quán)衡，并靈活增添自己的技術(shù)模塊等。通過上述方法，芯原可以在確保邊緣智能應(yīng)用所需的算力的同時(shí)，有效控制功耗和成本，滿足市場(chǎng)對(duì)高性能、低功耗和成本效益的邊緣智能芯片的需求。

據(jù)介紹，作為全球領(lǐng)先的一站式芯片定制服務(wù)和半導(dǎo)體IP授權(quán)服務(wù)企業(yè)，芯原擁有豐富的處理器IP儲(chǔ)備，包括圖形處理器IP（GPU IP）、神經(jīng)網(wǎng)絡(luò)處理器IP（NPU IP）、視頻處理器IP（VPU IP）、數(shù)字信號(hào)處理器IP（DSP IP）、圖像信號(hào)處理器IP（ISP IP）和顯示處理器IP（Display Processor IP）這六大類處理器IP。特別的，芯原的六大類處理器IP可以進(jìn)行原生協(xié)同工作，在流水線級(jí)做深度耦合，并開放接口給客戶，使得客戶可以集成自己的IP。針對(duì)IP間的高效協(xié)同工作，芯原還開發(fā)了統(tǒng)一幀緩沖壓縮（Unified Frame Buffer Compression）技術(shù)，通過無損或有損壓縮來連接所有像素處理器IP，以最大限度地減少SoC的整體DDR帶寬，并實(shí)現(xiàn)高性能計(jì)算。此外，芯原還開發(fā)了FLEXA同步接口通信技術(shù)，用以高效地連接多個(gè)IP，從而形成面向低延時(shí)、低帶寬和低功耗應(yīng)用的子系統(tǒng)解決方案。憑借芯原在像素處理方面的關(guān)鍵技術(shù)和先進(jìn)的嵌入式人工智能解決方案，公司推出了一系列創(chuàng)新的AI-ISP、AI-GPU、AI-Display、AI-Video 等IP子系統(tǒng)。

進(jìn)入2023年，生成式AI的興起為邊緣端設(shè)備芯片制造商帶來了新的技術(shù)要求，比如包括大量的浮點(diǎn)運(yùn)算和矩陣運(yùn)算的高性能計(jì)算能力、邊緣處理器可能需要集成專用的高效AI加速器或神經(jīng)網(wǎng)絡(luò)處理器（NPU）、高效的存儲(chǔ)器訪問機(jī)制和帶寬節(jié)省技術(shù)以及諸如更快的實(shí)時(shí)處理能力以及更高的安全性等。針對(duì)這些市場(chǎng)需求，汪洋介紹，芯原已經(jīng)全面布局了AIoT和AIGC計(jì)算領(lǐng)域，主要成就包括以下幾個(gè)方面。

在AIoT領(lǐng)域，芯原用于人工智能的神經(jīng)網(wǎng)絡(luò)處理器IP（NPU）業(yè)界領(lǐng)先，已被72家客戶用于其128款人工智能芯片中，集成了芯原NPU IP的人工智能（AI）類芯片已在全球范圍內(nèi)出貨超過1億顆，這些內(nèi)置芯原NPU的芯片主要應(yīng)用于物聯(lián)網(wǎng)、可穿戴設(shè)備、智慧電視、智慧家居、安防監(jiān)控、服務(wù)器、汽車電子、智能手機(jī)、平板電腦、智慧醫(yī)療這十個(gè)市場(chǎng)領(lǐng)域。在全球頂尖的蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）計(jì)算機(jī)視覺實(shí)驗(yàn)室（Computer Vision Lab）發(fā)布的《AI Benchmark IoT性能榜單》中，位列前5的處理器中就有3款芯片內(nèi)置了芯原的神經(jīng)網(wǎng)絡(luò)處理IP。

根據(jù)目前邊緣人工智能市場(chǎng)的需求，芯原基于自身神經(jīng)網(wǎng)絡(luò)處理器IP可伸縮可擴(kuò)展的特性，已發(fā)展了覆蓋從高性能云計(jì)算到低功耗邊緣計(jì)算的垂直解決方案；結(jié)合芯原多年來在多媒體處理領(lǐng)域的技術(shù)和IP積累，公司還推出了從攝像頭輸入到顯示器輸出（Glass-to-Glass）的完整的智能像素處理平臺(tái)。此外，芯原的NPU IP與GPU IP、VPU IP等有機(jī)結(jié)合，可創(chuàng)新性地大幅提高后者的處理性能。例如，公司基于自研的GPU IP和NPU IP，推出了創(chuàng)新的AI GPU IP子系統(tǒng)，以應(yīng)對(duì)人工智能不斷發(fā)展的應(yīng)用需求。

針對(duì)AIGC應(yīng)用，大算力是支撐其快速發(fā)展演進(jìn)的根基。OpenAI預(yù)估人工智能應(yīng)用對(duì)算力的需求每3.5個(gè)月翻一倍，每年增長(zhǎng)近10倍，這也極大地提升了GPGPU的市場(chǎng)應(yīng)用空間，并對(duì)其性能提出了更高的要求。GPGPU利用圖形處理器進(jìn)行非圖形渲染的高性能計(jì)算，具有很好的高強(qiáng)度并行運(yùn)算能力，非常適用于處理人工智能、專業(yè)計(jì)算加速等應(yīng)用。芯原基于約20年GPU的研發(fā)經(jīng)驗(yàn)，所推出的GPGPU IP可提供從低功耗嵌入式設(shè)備到高性能服務(wù)器的計(jì)算能力，以高度可擴(kuò)展的IP核重新定義了計(jì)算市場(chǎng)，以滿足廣泛的人工智能計(jì)算需求。

針對(duì)人工智能產(chǎn)業(yè)所面臨的安全性和隱私性等問題，芯原還與谷歌合作以支持谷歌新推出的開源項(xiàng)目Open Se Cura。該項(xiàng)目是一個(gè)由設(shè)計(jì)工具和IP庫組成的開源框架，旨在加速安全、可擴(kuò)展、透明和高效的人工智能系統(tǒng)的發(fā)展。作為該項(xiàng)目基礎(chǔ)設(shè)施的一部分，芯原提供了多個(gè)IP、低功耗芯片設(shè)計(jì)、板級(jí)支持包（BSP），并負(fù)責(zé)推動(dòng)該項(xiàng)目的商業(yè)化。

針對(duì)AIGC在邊緣側(cè)的應(yīng)用，汪洋認(rèn)為AIGC模型的訓(xùn)練主要在云端進(jìn)行，邊緣智能硬件除了可以進(jìn)行機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)加速等，也可以針對(duì)AIGC模型進(jìn)行微調(diào)和推理，但是這需要高性能的計(jì)算芯片來作支撐。針對(duì)AIGC在云端、邊緣端的部署，芯原為客戶提供從驅(qū)動(dòng)層到工具庫，再到應(yīng)用層軟件的全面支持。其中，芯原提供一個(gè)全自主研發(fā)的模型部署工具鏈Acuity，包含模型轉(zhuǎn)換、模型量化壓縮、圖優(yōu)化、圖編譯等功能，可以快速幫助用戶實(shí)現(xiàn)從模型到部署。支持Pytorch、Tensorflow、ONNX、TFLite等所有主流框架。針對(duì)AIGC類的大模型還支持4bit Group Quantization以及混合精度等功能，在盡量保證精度的情況下進(jìn)一步壓縮模型大小。通過Acuity工具鏈編譯產(chǎn)生的Network Binary Graph(NBG)可以直接部署在VIPLite 運(yùn)行時(shí)來完成端測(cè)推理。VIPLite 是一個(gè)超輕量的推理runtime，運(yùn)行時(shí)的內(nèi)存消耗最小約為200KB，支持Linux、RTOS甚至BareMetal。

針對(duì)邊緣智能不斷變化和增長(zhǎng)的市場(chǎng)需求，汪洋直言，芯原將從多個(gè)維度持續(xù)升級(jí)和優(yōu)化自有的技術(shù)。包括但不限于推出商用化的Chiplet解決方案，持續(xù)優(yōu)化NPU、GPU、GPGPU、AI子系統(tǒng)等IP解決方案，通過為客戶提供兼顧性能與能效比，具有增強(qiáng)的安全性能，支持更多AI框架，包括硬件、軟件和開發(fā)環(huán)境在內(nèi)的整體解決方案，來不斷強(qiáng)化芯原在邊緣智能領(lǐng)域的市場(chǎng)地位。