將光集成到硅芯片，有新思路

來(lái)源：本文由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自datacenterdynamics，謝謝。

眾所周知，摩爾定律即將走到盡頭。隨著越來(lái)越多的晶體管被封裝到每個(gè)硅芯片上，我們不能再期望處理器能力每?jī)赡攴环?br />

這對(duì)傳統(tǒng) IT 來(lái)說(shuō)很不方便，傳統(tǒng) IT 一直依賴摩爾定律的持續(xù)紅利。對(duì)于人工智能 (AI) 來(lái)說(shuō)，這可能是一場(chǎng)災(zāi)難，它正處于大規(guī)模擴(kuò)張的邊緣……但這種擴(kuò)張?jiān)诤艽蟪潭壬先Q于快速處理。

一家初創(chuàng)公司認(rèn)為，答案是將傳統(tǒng)硅與利用光運(yùn)行的光子處理器相結(jié)合。

人工智能爆炸

LightMatter 首席執(zhí)行官尼克·哈里斯 (Nick Harris) 表示，人工智能目前正處于快速增長(zhǎng)階段：“人們發(fā)現(xiàn)了無(wú)法滿足的用例。他們會(huì)盡可能多地索取，他們會(huì)花掉任何錢。谷歌、微軟、亞馬遜和 Facebook 將為這些東西付出任何代價(jià)?！?/p>

這是最近的發(fā)展。在經(jīng)歷了 1960 年代和 80 年代的激增之后，人工智能研究進(jìn)展緩慢。然后在 2012 年，由 Alex Krizhevsky 創(chuàng)建的名為 AlexNet 的神經(jīng)網(wǎng)絡(luò)贏得了在低成本 GPU 硬件上運(yùn)行的圖像識(shí)別競(jìng)賽。

這顯示了商業(yè)可能性，谷歌收購(gòu)了 Krizhevsky 的公司，投資開始了。

哈里斯說(shuō)：“在擴(kuò)展這些東西方面進(jìn)行了大量投資?！?nbsp;投資初見(jiàn)成效。“在過(guò)去的十年里，人工智能模型的復(fù)雜度經(jīng)歷了 3.6 個(gè)月的翻倍周期?！?/p>

問(wèn)題是，即使是便宜的通用硅也跟不上。而且，雖然可以在實(shí)驗(yàn)室中為 AI 投入額外的時(shí)間和資源，但在將其部署到實(shí)際應(yīng)用程序中時(shí)，它需要快速的性能。

“人工智能的挑戰(zhàn)在于，你可以訓(xùn)練非常大的模型，但如果你想部署它們并讓人們與它們互動(dòng)，那么用戶提出查詢和獲得結(jié)果之間的時(shí)間非常重要，”哈里斯說(shuō)?！澳阈枰獙?shí)時(shí)反饋。該領(lǐng)域的最大挑戰(zhàn)是構(gòu)建可以運(yùn)行這些龐大神經(jīng)網(wǎng)絡(luò)的機(jī)器，以便您在幾毫秒內(nèi)得到答案?！?/p>

硅跟不上

自 1965 年英特爾的戈登·摩爾 (Gordon Moore) 注意到這一趨勢(shì)以來(lái)，幾十年來(lái)處理器性能每?jī)赡攴环?/p>

這很好，但這種進(jìn)步速度不足以跟上本世紀(jì)新興的人工智能，Harris 說(shuō)：“即使你擁有電子產(chǎn)品的最佳案例擴(kuò)展，你也沒(méi)有真正為它提供動(dòng)力?！?/p>

更糟糕的是，就在更聰明的人工智能到來(lái)的那一刻，硅加速的速度減慢了。

摩爾定律之所以成立，是因?yàn)樾酒圃焐炭梢悦績(jī)赡陮⒁粔K硅片上封裝的晶體管數(shù)量增加一倍?，F(xiàn)在，雖然處理器仍在封裝更多晶體管，但它們的運(yùn)行溫度更高。

“我們遇到這個(gè)熱問(wèn)題的原因是 Dennard Scaling，”Harris 解釋道。羅伯特·丹納德 (Robert Dennard) 發(fā)明了 DRAM，并觀察到越小的晶體管消耗的能量越少，其面積越大：“大約在 2005 年，它壞了。”

今天的快速處理器使用 300W 和更高功率，而 Harris 說(shuō)這正朝著 1kW 芯片發(fā)展。

“我們?nèi)栽诿繂挝幻娣e上獲得更多的晶體管。但是你不能真正使用它們，因?yàn)槔鋮s解決方案不支持你使用它們。芯片會(huì)燃燒。你需要能夠開發(fā)出每瓦執(zhí)行更多操作的芯片?！?/p>

進(jìn)入光子學(xué)

讓芯片變熱的是電阻。當(dāng)電子在電流中流動(dòng)時(shí)，電信號(hào)面臨阻力。相比之下，光信號(hào)不會(huì)面臨同樣的阻力，也不會(huì)產(chǎn)生熱量——而且光子的傳播速度也比其他任何東西都快。

多年來(lái)，先進(jìn)的計(jì)算機(jī)設(shè)計(jì)一直試圖引入光子學(xué)，并使用“電子進(jìn)行處理，光子進(jìn)行通信”，用 HPE 科學(xué)家 John Sontag 的話來(lái)說(shuō)（HPE 是 Lightmatter 的投資者）。

長(zhǎng)途通信使用光纖，這些光纖現(xiàn)在深入數(shù)據(jù)中心的機(jī)架?！坝行┕句N售 100 Gig 可插拔光學(xué)器件，而他們現(xiàn)在才剛剛部署 400 Gig 可插拔光學(xué)器件。他們通過(guò)光纖每秒發(fā)送 400 吉比特的數(shù)據(jù)，將空間上分離的機(jī)架和物品連接在一起?！?/p>

最近的發(fā)展允許晶體管和光子學(xué)在同一個(gè)晶圓上合并，即所謂的“共同封裝光學(xué)”。最初，這被視為一種減小這些光插頭尺寸和功耗的方法，將信號(hào)作為光帶入芯片，而不是在 CMOS 芯片的邊界將光信號(hào)轉(zhuǎn)換為電信號(hào)。

根據(jù)路線圖，“光學(xué)元件越來(lái)越接近硅，直到最終，光學(xué)元件與處理器和網(wǎng)絡(luò)芯片進(jìn)行 3D 堆疊和共同封裝，從而以低能耗提供非常高的數(shù)據(jù)速率?！?/p>

英特爾已經(jīng)展示了一年或更長(zhǎng)時(shí)間的聯(lián)合封裝光學(xué)，Broadcom 已經(jīng)展示了聯(lián)合封裝的光學(xué)開關(guān)，Marvell 在 2021 年以 100 億美元收購(gòu)了光電子公司 Inphi，但業(yè)界對(duì)它能否迅速發(fā)揮作用持懷疑態(tài)度。

Dell'Oro Group 分析師 Sameh Boujelbene 在今年對(duì) SDxCentral 的評(píng)論中表示：“現(xiàn)在就制定可在未來(lái)幾年內(nèi)進(jìn)行大規(guī)模部署和量產(chǎn)的聯(lián)合封裝光學(xué)解決方案還為時(shí)過(guò)早?！?/p>

Harris 評(píng)論說(shuō)，共同封裝的光學(xué)器件可用于制造用于訓(xùn)練 AI 的高度互連的 GPU 系統(tǒng)，但這仍然需要具有交錯(cuò)光纖“rat’s nest”的計(jì)算集群。

“他們計(jì)劃使用光學(xué)器件將服務(wù)器內(nèi)部的處理器連接在一起。當(dāng)每個(gè)芯片都使用光纖連接到每個(gè)其他芯片時(shí)，會(huì)有性能優(yōu)勢(shì)，但很難為這些東西提供服務(wù)?！?/p>

Lightmatter 的方法是將光學(xué)元件進(jìn)一步推入芯片內(nèi)部，因此所有這些互連都由硅內(nèi)的可切換光子網(wǎng)絡(luò)處理，該網(wǎng)絡(luò)不產(chǎn)生熱量，占用的體積極小。

“光纖是宏觀的，它在毫米的數(shù)量級(jí)，”他說(shuō)。“我們的設(shè)備是兩微米?！?/p>

這可以大大減少所需的硬件，有效地將一個(gè)復(fù)雜的人工智能訓(xùn)練系統(tǒng)集成到一個(gè)芯片上：“如果你打開我們的服務(wù)器，里面只有一個(gè)芯片。它包含服務(wù)器的所有處理器。它們?cè)谛酒瑑?nèi)部是光學(xué)互連的。他們也可以通過(guò)光學(xué)與其他平臺(tái)進(jìn)行通信。”

他繼續(xù)說(shuō)道：“最終，這個(gè)東西所做的是極端集成，使一切都可以通過(guò)光學(xué)互連實(shí)現(xiàn)，并允許真正荒謬的帶寬?！?/p>

它是在商業(yè)硅晶圓廠提供的標(biāo)準(zhǔn)流程中完成的：“我們使用 GlobalFoundries 制造晶圓，”Harris 說(shuō)。“我們的晶體管非常接近隔壁鄰居，距離光子元件不到 100 納米。都是一體的。”

他說(shuō)，使用相同的蝕刻工具制造 CMOS 和光子連接，它們與晶體管處于相同的納米尺度。

“我們使用所有相同的蝕刻工具。所以都是完全標(biāo)準(zhǔn)的CMOS。我們使用‘絕緣體晶圓上的硅’，用于生產(chǎn)許多電子芯片。”

哈里斯和他的同事在麻省理工學(xué)院提出了這個(gè)想法，并在 1100 萬(wàn)美元的啟動(dòng)資金的幫助下，自 2018 年以來(lái)一直在將其商業(yè)化。

走向硅

公司有兩種產(chǎn)品。通道是一種互連，它采用傳統(tǒng)處理器陣列并將它們連接起來(lái)，使用可編程的片上光網(wǎng)絡(luò)。

“激光器與調(diào)制器和晶體管一起集成到平臺(tái)中，”他說(shuō)?！叭绻阌脪呙桦娮语@微鏡觀察這個(gè)東西，你可以看到波導(dǎo)——它們相距約兩微米，寬幾百納米?！?/p>

另一個(gè)產(chǎn)品是 Envise，一種通用的云推理加速器，它將計(jì)算元素與光子計(jì)算核心結(jié)合在一起。

這里的承諾是解決人工智能處理速度的問(wèn)題：“我們的延遲提高了大約 42 倍，因?yàn)樘幚硎且怨馑龠M(jìn)行的。當(dāng)光穿過(guò)芯片時(shí)，你正在做乘法和加法。

該技術(shù)仍處于早期階段，但哈里斯表示，Lightmatter 擁有“大約五個(gè)客戶”，都是大型企業(yè)。該公司在實(shí)驗(yàn)室中擁有硅，并將于 2022 年晚些時(shí)候全面上市。

“在 Passage 案例中，我們正在研究芯片之間的通信，而在 Envise 方面，光學(xué)處理核心有助于提供通信能量，同時(shí)還可以卸載計(jì)算機(jī)操作，”Harris 說(shuō)。

哈里斯說(shuō)，這些產(chǎn)品是“大芯片”。與另一家 AI 芯片初創(chuàng)公司 Cerebras 非常相似，Lightmatter 發(fā)現(xiàn)可以在單個(gè)晶圓上集成多個(gè)內(nèi)核和網(wǎng)絡(luò)。

Cerebras 在商業(yè)上得到進(jìn)一步發(fā)展，其產(chǎn)品被愛(ài)丁堡大學(xué)的 EPCC 超級(jí)計(jì)算中心和生物制****公司 AbbVie 等采用。然而，它不得不創(chuàng)建自己的液體冷卻系統(tǒng)來(lái)處理片上網(wǎng)絡(luò)產(chǎn)生的熱量。

Lightmatter 的光網(wǎng)絡(luò)用光子發(fā)送信號(hào)并且運(yùn)行溫度更低。它也更小一些，但仍然是“幾英寸寬”，通道適合一個(gè) 8 英寸乘 8 英寸的芯片插座：“這是我一生中見(jiàn)過(guò)的最大的芯片插座。”

然而，它確實(shí)提供了“荒謬”的帶寬：768Tbps。

晶圓尺寸的芯片聽(tīng)起來(lái)像是一種負(fù)擔(dān)，因?yàn)樗泄杈A都可能存在小點(diǎn)缺陷，因此大晶圓出現(xiàn)故障的可能性更高。“我們?cè)诹悸使こ谭矫孀隽撕芏喙ぷ?，”哈里斯說(shuō)?！暗酒系木w管并不多。”

晶體管越少，出現(xiàn)點(diǎn)缺陷的可能性就越?。骸拔覀兊拿芏确浅５?，因此在制造過(guò)程中出現(xiàn)導(dǎo)致晶體管失效的點(diǎn)缺陷的可能性非常低。成品率最終很高，因?yàn)樗皇且粋€(gè)非常密集的晶體管電路。”

應(yīng)用

哈里斯說(shuō)，這方面的第一個(gè)應(yīng)用將是對(duì)實(shí)時(shí)視頻進(jìn)行分析的公司。這些可能包括安全公司，但也包括使用攝像頭監(jiān)控生產(chǎn)線以發(fā)現(xiàn)零件何時(shí)存在缺陷的公司。

它還可能對(duì)語(yǔ)音分析和其他 AI 應(yīng)用有用：“它是全面的?！?/p>

有一個(gè)共同因素——客戶對(duì)谷歌首創(chuàng)的“變形金剛”型神經(jīng)網(wǎng)絡(luò)感興趣，并希望以更低的成本實(shí)施它們

“第一個(gè)應(yīng)用程序主要是試圖解決每次推理的美元成本。如果你是一名在谷歌云上工作的產(chǎn)品人員，有很多你想部署的 AI 模型，但你負(fù)擔(dān)不起，因?yàn)槊看瓮评淼某杀緵](méi)有意義?！?/p>

這一切都會(huì)奏效嗎？一個(gè)積極的跡象是加入公司的工程師的才能。

Richard Ho 是谷歌定制 AI 芯片系列 Tensor Processing Unit (TPU) 的領(lǐng)導(dǎo)者之一，他于 8 月加入 LightMatter，之前是英特爾 AI 集團(tuán)數(shù)據(jù)中心工程副總裁 Ritesh Jain。5 月，它聘請(qǐng)了 Apple 財(cái)務(wù)總監(jiān) Jessie Zhang 擔(dān)任財(cái)務(wù)副總裁。

光子計(jì)算的前景可能是光明的。