全球缺芯大潮中，以軟代硬能否另辟蹊徑？

在5G和人工智能的技術(shù)浪潮如約而至以后，業(yè)內(nèi)人士無不對(duì)IoT產(chǎn)業(yè)的未來報(bào)以極大的期待。以人工智能和家居設(shè)備為基礎(chǔ)，再加上算力與網(wǎng)絡(luò)支持，有理由相信未來IoT相關(guān)產(chǎn)業(yè)必將迎來爆發(fā)。然而今年，席卷全球的芯片產(chǎn)能不足問題影響到了各行各業(yè)，其對(duì)于普通人影響或許是價(jià)格，但對(duì)于企業(yè)而言，其事關(guān)生死存亡。尤其是扎根于各類智能設(shè)備的企業(yè)而言，如何提升芯片效能，提升端側(cè)的智慧能力，這幾乎可以被視作2021年IoT產(chǎn)業(yè)生存的第一要?jiǎng)?wù)。

與此同時(shí)，我們還能看到太多的算法模型在走向極致，對(duì)于用戶苛刻的智能需求，巨大模型在不斷地完善和構(gòu)建；而對(duì)于一些高頻次和便捷性的智能需求，能夠運(yùn)行在邊緣側(cè)的小模型也同樣受人歡迎。當(dāng)芯片產(chǎn)能無法在一朝一夕之間解決，從生產(chǎn)線的構(gòu)建到各類原材料價(jià)格，哪怕是再小的因素都可能形成蝴蝶效應(yīng)，那么是否有可能從邊緣側(cè)，在終端上，借助軟件的力量來實(shí)現(xiàn)芯片的升級(jí)呢？

這一想法當(dāng)然不是沒人能想到，CoCoPIE便是在嘗試的企業(yè)之一。在國慶期間，筆者也與遠(yuǎn)在硅谷的CoCoPIE公司負(fù)責(zé)人李曉峰博士連線，一起聊了關(guān)于芯片，關(guān)于AI，也關(guān)于當(dāng)下的這些故事。

5G和AI如約而至，邊緣的浪潮來了嗎？

在加入CoCoPIE之前，李曉峰博士就已在終端產(chǎn)業(yè)做出了諸多成績(jī)。14年的英特爾職業(yè)生涯，從超級(jí)計(jì)算到服務(wù)器計(jì)算，又到個(gè)人機(jī)計(jì)算，再到后來移動(dòng)計(jì)算，他領(lǐng)導(dǎo)團(tuán)隊(duì)開發(fā)的微運(yùn)行時(shí)系統(tǒng)在英特爾的平臺(tái)上被廣泛部署。在大潮洶涌而過時(shí)，李曉峰博士看到了端側(cè)計(jì)算的重要性不斷擴(kuò)展，行業(yè)巨頭們的探索接踵而至，端側(cè)用戶價(jià)值不斷提升。于是，李曉峰博士便帶領(lǐng)Intel中國運(yùn)行時(shí)實(shí)驗(yàn)室，在谷歌正式發(fā)布Android之前便開始了Android的研究和優(yōu)化工作，曾負(fù)責(zé)Android系統(tǒng)在英特爾移動(dòng)平臺(tái)上的性能、功耗和流暢性，并開發(fā)了業(yè)界的第一個(gè)Android評(píng)測(cè)套件。在離開英特爾時(shí)，李曉峰博士對(duì)端側(cè)技術(shù)和用戶需求就已經(jīng)有了非常深刻的理解。

CoCoPIE 公司負(fù)責(zé)人 李曉峰

此后，李曉峰博士的工作一直圍繞著端側(cè)智能設(shè)備相關(guān)技術(shù)。曾任華米美國分公司總經(jīng)理，兼技術(shù)副總裁，負(fù)責(zé)協(xié)助建立美國研發(fā)團(tuán)隊(duì)，并領(lǐng)導(dǎo)團(tuán)隊(duì)進(jìn)行健康手環(huán)產(chǎn)品的軟件和算法研發(fā)；還曾擔(dān)任華為技術(shù)副總裁，在華為美研帶領(lǐng)團(tuán)隊(duì)研發(fā)下一代操作系統(tǒng)，并負(fù)責(zé)基于深度學(xué)習(xí)的移動(dòng)感知平臺(tái)的構(gòu)建，研發(fā)應(yīng)用于移動(dòng)設(shè)備的智能感知算法；加盟CoCoPIE之前，李曉峰博士是OPPO軟件的首席架構(gòu)師，負(fù)責(zé)基礎(chǔ)軟件技術(shù)的戰(zhàn)略和實(shí)施。

豐富的業(yè)界經(jīng)驗(yàn)與技術(shù)攻關(guān)成績(jī)，讓李曉峰博士對(duì)端側(cè)設(shè)備智能化的需求有了更加深入的理解，那么端側(cè)智能市場(chǎng)的未來，會(huì)有怎樣的脈絡(luò)呢？CoCoPIE對(duì)端側(cè)智能相關(guān)市場(chǎng)進(jìn)行過一番深入的調(diào)查，并且找到牛津大學(xué)商學(xué)院的咨詢機(jī)構(gòu)，對(duì)端側(cè)AI中的IoT智能設(shè)備、媒體娛樂應(yīng)用以及芯片三大應(yīng)用市場(chǎng)進(jìn)行了系統(tǒng)分析。在未來，端側(cè)AI有著巨大的市場(chǎng)需求，其市場(chǎng)空間可能高達(dá)1.06萬億美元。

通過端側(cè)AI能夠有效的降低云側(cè)成本，使得數(shù)據(jù)存儲(chǔ)和前期的分析等可以放在端側(cè)執(zhí)行，從而降低云側(cè)計(jì)算、網(wǎng)絡(luò)流量等成本；更重要的是，因?yàn)槎藗?cè)AI不需要把數(shù)據(jù)上傳，有效地滿足了呼聲日高的用戶數(shù)據(jù)隱私和安全保護(hù)需求；在媒體娛樂方面，對(duì)用戶體驗(yàn)的提升成為端側(cè)服務(wù)以及設(shè)備提供商的主要競(jìng)爭(zhēng)熱點(diǎn)，越來越多的智能玩法出現(xiàn)在生活之中，如變臉增強(qiáng)，智能交互等娛樂手段也不再新鮮，而端側(cè)AI的實(shí)時(shí)處理能力，相比云側(cè)計(jì)算可以實(shí)現(xiàn)用戶體驗(yàn)的飛躍式提升，并使能大量通過云服務(wù)無法實(shí)現(xiàn)的新型體驗(yàn)；而芯片側(cè)則是當(dāng)下的熱點(diǎn)話題，由于芯片產(chǎn)能不足，高端芯片的供貨也存在一定空缺，另一方面，端側(cè)AI的需求對(duì)端側(cè)算力的需求又大大增加。要解決這個(gè)矛盾，通過軟件優(yōu)化技術(shù)，可以降低對(duì)專用芯片、高端芯片的需求，縮短產(chǎn)品研發(fā)周期，從而實(shí)現(xiàn)以軟件技術(shù)來改善、促進(jìn)芯片產(chǎn)業(yè)的發(fā)展，在當(dāng)前和未來都有著巨大的發(fā)展空間。

李曉峰博士認(rèn)為，數(shù)字化的發(fā)展歷史就是讓計(jì)算設(shè)備更加智能化、讓智能不斷滲透物理世界的過程，從計(jì)算器到計(jì)算機(jī)，再從計(jì)算機(jī)到智能設(shè)備，這一趨勢(shì)一脈相承。上一代設(shè)備智能化發(fā)展的核心手段是在設(shè)備上植入芯片來運(yùn)行軟件應(yīng)用，而當(dāng)前這一代設(shè)備智能化的核心手段則是在設(shè)備上支撐深度神經(jīng)網(wǎng)絡(luò)的AI應(yīng)用，這是數(shù)字化發(fā)展的必然，是不可阻擋的趨勢(shì)。因此，李曉峰博士在這一趨勢(shì)中順勢(shì)而為，投身于CoCoPIE創(chuàng)業(yè)，希望通過解決AI計(jì)算中的瓶頸問題，改變?nèi)藗兊纳睢?/p>

當(dāng)前實(shí)現(xiàn)AI普及最大的瓶頸問題就是，隨著AI技術(shù)的發(fā)展，模型變得越來越大，算力需求因此也越來越大。隨著各種超大模型的誕生，AI任務(wù)的運(yùn)行甚至要上超算才能解決算力的問題。可是，AI并不是高算力平臺(tái)的專利，端側(cè)也一樣需要AI智能化。CoCoPIE便是通過軟件優(yōu)化技術(shù)，大幅度提升AI任務(wù)的運(yùn)行效率，讓非專業(yè)芯片獲得超越專業(yè)芯片的效率，也可以讓專業(yè)芯片的效率進(jìn)一步增益，從而達(dá)到AI能力普及化的目的。

軟件與硬件的交織，對(duì)于AI模型的另一種嘗試

在過去的幾年里，我們看到海量的AI創(chuàng)業(yè)公司如雨后春筍般冒出，卻又一批批的悄然消失。最終留下來的，要么技術(shù)雄厚，要么家底雄厚，由此不難看出，AI產(chǎn)業(yè)不僅僅有技術(shù)的門檻，也有行業(yè)的門檻存在。有實(shí)力的廠商往往需要自己研發(fā)專用芯片來從硬件架構(gòu)方面實(shí)現(xiàn)適配深度神經(jīng)網(wǎng)絡(luò)算法，在李曉峰博士看來，這樣做的問題就在于研發(fā)周期和技術(shù)投入都會(huì)很高，風(fēng)險(xiǎn)和挑戰(zhàn)也會(huì)很大。CoCoPIE的做法是針對(duì)芯片特性對(duì)模型進(jìn)行優(yōu)化，實(shí)現(xiàn)在不降低模型精確度的情況下，在通用芯片上的效能超過專用芯片。同時(shí)，其作為一種軟件的技術(shù)，與AI專用芯片并非互斥，而是可以進(jìn)一步釋放其潛在能力。

舉例來看，當(dāng)我們?cè)诳匆曨l的時(shí)候，云側(cè)往往需要在云端存儲(chǔ)同一個(gè)視頻的各種分辨率的視頻內(nèi)容，然后根據(jù)網(wǎng)絡(luò)帶寬情況或用戶選擇，通過網(wǎng)絡(luò)傳輸?shù)接脩粼O(shè)備上。但是如果改為由端側(cè)設(shè)備自動(dòng)將低分辨率的視頻提升為高分辨率，云側(cè)只需要存儲(chǔ)一種低分辨率的視頻內(nèi)容，通過網(wǎng)絡(luò)也只需要傳輸?shù)头直媛蕛?nèi)容，這樣就能夠有效降低對(duì)云側(cè)存儲(chǔ)、網(wǎng)絡(luò)帶寬的要求。但要在端側(cè)實(shí)現(xiàn)高性能的實(shí)時(shí)超分辨率，目前對(duì)端側(cè)算力、功耗有較高要求，這也是目前超分辨率技術(shù)在端側(cè)設(shè)備遲遲不能普及的根本原因。通過CoCoPIE在端側(cè)的軟件優(yōu)化技術(shù)，已經(jīng)可以輕松做到在通用手機(jī)平臺(tái)芯片上的實(shí)時(shí)超分辨率，根據(jù)平臺(tái)需求可以達(dá)到30FPS甚至60FPS，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)服務(wù)商、手機(jī)設(shè)備商、終端消費(fèi)者的多贏。

把AI任務(wù)運(yùn)行到端側(cè)設(shè)備上，往往需要做兩步，壓縮和編譯。而CoCoPIE技術(shù)的與眾不同之處在于對(duì)壓縮和編譯的協(xié)同設(shè)計(jì)，也就是在壓縮時(shí)考慮編譯器和芯片結(jié)構(gòu)特征，從而找到最佳壓縮策略，為編譯做好準(zhǔn)備；在編譯時(shí)則充分利用壓縮模型的結(jié)果，對(duì)芯片進(jìn)行針對(duì)性代碼生成。簡(jiǎn)單來講，就是根據(jù)第一性原理，先找到最優(yōu)解的方法，然后根據(jù)實(shí)際情況進(jìn)行甄選，讓實(shí)際情況逼近最優(yōu)結(jié)果。依據(jù)這一規(guī)則，CoCoPIE的技術(shù)可以同時(shí)實(shí)現(xiàn)精確度和高性能。

AI模型壓縮的方法在業(yè)界有很多，其中主流的是權(quán)重剪枝和量化。權(quán)重剪枝的技術(shù)又可以分為結(jié)構(gòu)化和非機(jī)構(gòu)化兩種，二者各有利弊，結(jié)構(gòu)化剪枝只能對(duì)過濾器和通道進(jìn)行剪枝，剪枝結(jié)果規(guī)則，對(duì)硬件加速和計(jì)算效率提升較好，問題是剪枝粒度粗，準(zhǔn)確率降低；而非結(jié)構(gòu)化剪枝則可以使得剪枝維度做到很小，而且準(zhǔn)確率也很高，但問題是剪枝不規(guī)則，對(duì)硬件不友好，能耗較高，且計(jì)算效率不高。

那么有沒有第三條路呢？顯然是有的，CoCoPIE提出了基于模式的剪枝方式，在結(jié)構(gòu)化和非結(jié)構(gòu)化之間尋找平衡，塑造一種細(xì)粒度的結(jié)構(gòu)化剪枝，在多種剪枝結(jié)果中尋找最優(yōu)解，確定匹配AI模型和芯片平臺(tái)的最佳壓縮模式。根據(jù)協(xié)同設(shè)計(jì)原則，CoCoPIE框架由兩個(gè)組件組成：CoCo-Tune和CoCo-Gen。

CoCo-Tune的主要任務(wù)是剪枝和壓縮，在訓(xùn)練過程中，網(wǎng)絡(luò)的體量足以允許局部網(wǎng)絡(luò)的重用，利用這一性質(zhì)，其通過模塊化局部網(wǎng)絡(luò)重用，能夠顯著縮短確定要修剪的適當(dāng)DNN參數(shù)集的過程。CoCo-Gen可以根據(jù)結(jié)果進(jìn)行微調(diào)和生成，進(jìn)行細(xì)粒度的剪枝和最優(yōu)適配代碼的生成，也就是通過基于模式的DNN剪枝與基于模式的感知生成代碼相協(xié)同，生成高效的 DNN 執(zhí)行代碼。

邊緣的AI，設(shè)備的未來

在李曉峰博士看來，設(shè)備是為人服務(wù)的，也是人能力的一種延伸。比如計(jì)算機(jī)是人大腦的延伸，相機(jī)是人的眼睛的延伸，各種端側(cè)設(shè)備也都與人們的生活十分貼近。當(dāng)人在與數(shù)字世界交互時(shí)，設(shè)備就是人類與數(shù)字世界之間的入口和出口，AI的能力不論多強(qiáng)，最終都必須要通過端側(cè)設(shè)備這個(gè)門戶。端側(cè)設(shè)備作為入口，需要提供大量對(duì)人們活動(dòng)、意圖的感知能力，從而更好地理解人本身；而作為出口，端側(cè)設(shè)備則需要給人提供更加愉悅的感官體驗(yàn)和新型服務(wù)體驗(yàn)。這一切的技術(shù)革新，意義深遠(yuǎn)，而背后則意味著對(duì)端側(cè)AI能力的極大需求。

其實(shí)不僅僅是手機(jī)、家電這些設(shè)備，就是更加復(fù)雜的邊緣設(shè)備也可以從CoCoPIE的技術(shù)中獲得巨大的收益。例如，通過CoCoPIE的解決方案，可以在幾百美金的芯片上，實(shí)現(xiàn)上萬美金級(jí)別的無人駕駛專用平臺(tái)能力。這些技術(shù)所展示出來的巨大潛力，對(duì)各類移動(dòng)側(cè)、邊緣側(cè)的客戶都有很大的吸引力。因此包括互聯(lián)網(wǎng)大廠，芯片平臺(tái)提供商，手機(jī)廠商，美國交通部以及某無人駕駛公司等十余家企業(yè)已然成為了CoCoPIE的合作伙伴。

作為技術(shù)產(chǎn)品，CoCoPIE交付服務(wù)的方式也是多樣化的，主要包括了完整的自動(dòng)化工具鏈和AI模型倉庫，可以通過許可授權(quán)或云服務(wù)來使用。同時(shí)CoCoPIE也在平臺(tái)廠家進(jìn)行軟硬一體化設(shè)計(jì)，針對(duì)特定硬件平臺(tái)進(jìn)行整體的加速方案集成。

當(dāng)然，端云結(jié)合的趨勢(shì)在AI領(lǐng)域也一樣存在。未來AI在端側(cè)和云側(cè)將各司其職，端側(cè)承接入口和出口的任務(wù)，云側(cè)依然可以是中軍帳，二者必將同步前進(jìn)。在今年8月，CoCoPIE完成數(shù)千萬元A輪融資，李曉峰博士認(rèn)為公司下一階段還將集中精力發(fā)展核心技術(shù)及其產(chǎn)品，并不斷提升技術(shù)壁壘，比如側(cè)重用戶數(shù)據(jù)安全隱私的計(jì)算技術(shù)，對(duì)平臺(tái)能力動(dòng)態(tài)適配的自適應(yīng)技術(shù)等；另一方面，CoCoPIE也會(huì)積極拓展自己的合作生態(tài)，讓更多的合作伙伴通過優(yōu)異的端側(cè)AI能力為他們的客戶提供更好的服務(wù)。

未來AI是無處不在的，這一點(diǎn)毋庸置疑，李曉峰博士表示：“上一次的浪潮中芯片隨著智能設(shè)備變得無處不在，而下一波浪潮里AI將會(huì)隨著芯片變得無處不在，我們的目標(biāo)就是‘凡有AI處，就有CocoPIE’?！?/p>

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。