清華大學(xué)發(fā)布創(chuàng)新AI光芯片，實(shí)現(xiàn)160 TOPS/W的通用智能計(jì)算

人工智能浪潮下，光芯片發(fā)展在提速。

作為人工智能的三駕馬車(chē)之一，算力是訓(xùn)練AI模型、推理任務(wù)的關(guān)鍵。

清華大學(xué)科研團(tuán)隊(duì)的新成果發(fā)布在了4月12日凌晨的最新一期《科學(xué)》上，首創(chuàng)分布式廣度智能光計(jì)算架構(gòu)，研制出全球首款大規(guī)模干涉衍射異構(gòu)集成芯片“太極（Taichi）”，實(shí)現(xiàn)了160 TOPS/W的通用智能計(jì)算。

據(jù)介紹，“太極”光芯片架構(gòu)開(kāi)發(fā)的過(guò)程中，靈感來(lái)自典籍《周易》，團(tuán)隊(duì)成員以“易有太極，是生兩儀”為啟發(fā)，建立了全新的計(jì)算模型，實(shí)現(xiàn)了光計(jì)算強(qiáng)悍性能的釋放。

光計(jì)算，顧名思義是將計(jì)算載體從電變?yōu)楣?，利用光在芯片中的傳播進(jìn)行計(jì)算，以其超高的并行度和速度，被認(rèn)為是未來(lái)顛覆性計(jì)算架構(gòu)的最有力競(jìng)爭(zhēng)方案之一。

光芯片具備高速高并行計(jì)算優(yōu)勢(shì)，被寄予希望用來(lái)支撐大模型等先進(jìn)人工智能應(yīng)用。

據(jù)論文第一作者、電子系博土生徐智吳介紹，在“太極”架構(gòu)中，自頂向下的編碼拆分-解碼重構(gòu)機(jī)制，將復(fù)雜智能任務(wù)化繁為簡(jiǎn)，拆分為多通道高并行的子任務(wù)，構(gòu)建的分布式'大感受野’淺層光網(wǎng)絡(luò)對(duì)子任務(wù)分而治之，突破物理模擬器件多層深度級(jí)聯(lián)的固有計(jì)算誤差。

論文報(bào)道：“太極”光芯片具備879T MACS/mm的面積效率與160 TOPS/N的能量效率。首次賦能光計(jì)算實(shí)現(xiàn)自然場(chǎng)景千類(lèi)對(duì)象識(shí)別、跨模態(tài)內(nèi)容生成等人工智能復(fù)雜任務(wù)。

“太極”光芯片有望為大模型訓(xùn)練推理、通用人工智能、自主智能無(wú)人系統(tǒng)提供算力支撐。

人工智能需要光子電路

人工智能通常依賴(lài)于人工神經(jīng)網(wǎng)絡(luò)，用于分析醫(yī)學(xué)掃描和生成圖像等應(yīng)用。在這些系統(tǒng)中，稱(chēng)為神經(jīng)元的電路組件（類(lèi)似于人腦中的神經(jīng)元）被輸入數(shù)據(jù)并合作解決問(wèn)題，例如識(shí)別人臉。如果神經(jīng)網(wǎng)絡(luò)擁有多層這些神經(jīng)元。

隨著神經(jīng)網(wǎng)絡(luò)的規(guī)模和功率的增長(zhǎng)，它們?cè)趥鹘y(tǒng)電子設(shè)備上運(yùn)行時(shí)變得越來(lái)越耗能。例如，為了訓(xùn)練其最先進(jìn)的神經(jīng)網(wǎng)絡(luò) GPT-3，2022 年《自然》雜志的一項(xiàng)研究表明，OpenAI 花費(fèi)了 460 萬(wàn)美元在兩周內(nèi)運(yùn)行 9200個(gè)GPU。

電子計(jì)算的缺點(diǎn)導(dǎo)致一些研究人員將光學(xué)計(jì)算作為下一代人工智能的有希望的基礎(chǔ)進(jìn)行研究。與電子對(duì)應(yīng)物相比，這種光子方法使用光來(lái)更快地執(zhí)行計(jì)算，并且功率更低。

清華大學(xué)領(lǐng)銜開(kāi)發(fā)出的光子微芯片Taichi，可以在高級(jí)人工智能任務(wù)中與電子設(shè)備一樣執(zhí)行，同時(shí)被證明更加節(jié)能。

“光學(xué)神經(jīng)網(wǎng)絡(luò)不再是玩具模型，”清華大學(xué)電子工程副教授Lu Fang說(shuō)：“它們現(xiàn)在可以應(yīng)用于現(xiàn)實(shí)世界的任務(wù)?！?/p>

光學(xué)神經(jīng)網(wǎng)絡(luò)是如何工作的？

開(kāi)發(fā)光學(xué)神經(jīng)網(wǎng)絡(luò)主要有兩種策略：1、在微芯片內(nèi)以特定模式散射光；2、讓光波在器件內(nèi)部以精確的方式相互干擾。當(dāng)以光的形式輸入這些光學(xué)神經(jīng)網(wǎng)絡(luò)時(shí)，輸出光會(huì)對(duì)這些器件中執(zhí)行的復(fù)雜操作的數(shù)據(jù)進(jìn)行編碼。

Fang 解釋說(shuō)，這兩種光子計(jì)算方法都有明顯的優(yōu)點(diǎn)和缺點(diǎn)。例如，依賴(lài)于散射或衍射的光學(xué)神經(jīng)網(wǎng)絡(luò)可以將許多神經(jīng)元緊密地聚集在一起，并且?guī)缀醪幌娜魏文芰??；谘苌涞纳窠?jīng)網(wǎng)絡(luò)依賴(lài)于光束在穿過(guò)代表網(wǎng)絡(luò)操作的光學(xué)層時(shí)的散射。然而，基于衍射的神經(jīng)網(wǎng)絡(luò)的一個(gè)缺點(diǎn)是它們無(wú)法重新配置。每個(gè)操作字符串基本上只能用于一個(gè)特定任務(wù)。

相比之下，依賴(lài)于干擾的光學(xué)神經(jīng)網(wǎng)絡(luò)可以很容易地重新配置?；诟蓴_的神經(jīng)網(wǎng)絡(luò)通過(guò)信道網(wǎng)格發(fā)送多個(gè)波束，它們?cè)谶@些信道相交處的干擾方式有助于執(zhí)行設(shè)備的操作。然而，它們的缺點(diǎn)是干涉儀也很笨重，這限制了這種神經(jīng)網(wǎng)絡(luò)的擴(kuò)展能力。它們也會(huì)消耗大量能量。

此外，當(dāng)前的光子芯片會(huì)遇到不可避免的錯(cuò)誤。試圖通過(guò)增加這些器件中的神經(jīng)元層數(shù)量來(lái)擴(kuò)展光學(xué)神經(jīng)網(wǎng)絡(luò)通常只會(huì)成倍地增加噪聲。這意味著，到目前為止，光學(xué)神經(jīng)網(wǎng)絡(luò)僅限于基本的人工智能任務(wù)，例如簡(jiǎn)單的模式識(shí)別，換句話說(shuō)，光學(xué)神經(jīng)網(wǎng)絡(luò)通常不適合先進(jìn)應(yīng)用。

研究人員表示，相比之下，Taichi是一種結(jié)合了衍射和干涉方法的混合設(shè)計(jì)。它包含衍射單元簇，可以在緊湊的空間內(nèi)壓縮數(shù)據(jù)以進(jìn)行大規(guī)模輸入和輸出。該芯片還包含干涉儀陣列，用于可重構(gòu)計(jì)算。Fang表示，為 Taichi 開(kāi)發(fā)的編碼協(xié)議將具有挑戰(zhàn)性的任務(wù)和大型網(wǎng)絡(luò)模型劃分為可以分布在不同模塊中的子模型。

Taichi 如何融合這兩種神經(jīng)網(wǎng)絡(luò)？

以前的研究通常試圖通過(guò)模仿電子對(duì)應(yīng)物經(jīng)常做的事情來(lái)擴(kuò)展光學(xué)神經(jīng)網(wǎng)絡(luò)的容量——增加神經(jīng)元層的數(shù)量。Taichi 的架構(gòu)通過(guò)將計(jì)算分布在多個(gè)并行運(yùn)行的小芯片上來(lái)擴(kuò)展，這意味著 Taichi 可以避免當(dāng)光學(xué)神經(jīng)網(wǎng)絡(luò)將許多神經(jīng)元層堆疊在一起時(shí)發(fā)生的指數(shù)級(jí)累積錯(cuò)誤問(wèn)題。

“這種'深度淺，寬度寬'的架構(gòu)保證了網(wǎng)絡(luò)規(guī)模，”Fang說(shuō)。