上海交通大學(xué)王宇光：幾何深度學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展和趨勢

3 月 23 日，在機(jī)器之心 AI 科技年會上，上海交通大學(xué)自然科學(xué)研究院和數(shù)學(xué)科學(xué)學(xué)院副教授、上海人工智能實(shí)驗(yàn)室成員王宇光老師發(fā)表了主題演講《幾何深度學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展和趨勢》。

演講視頻地址（點(diǎn)擊「閱讀原文」也可觀看）：https://www.bilibili.com/video/BV1Yr4y1q7c1?spm_id_from=333.999.0.0

以下為王宇光在機(jī)器之心 AI 科技年會上的演講內(nèi)容，機(jī)器之心進(jìn)行了不改變原意的編輯、整理：

大家下午好，我是上海交大自然科學(xué)研究院的王宇光。今天主要給大家介紹一下幾何深度學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展，以及未來的技術(shù)趨勢。

我們知道幾何深度學(xué)習(xí)是用于處理不同對象的深度神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)和傳統(tǒng) CNN 相似，只是處理的對象發(fā)生了變化。

傳統(tǒng) CNN 處理的可能是圖片數(shù)據(jù)，在數(shù)學(xué)上是由格點(diǎn)像素值組成的平面 2D 數(shù)據(jù)，如果有多個 channel 則可能是張量數(shù)據(jù)，但往往不考慮像素之間的相互關(guān)系，不考慮各個格點(diǎn)之間的相互連接。而幾何深度學(xué)習(xí)的重要數(shù)據(jù)對象是圖結(jié)構(gòu)數(shù)據(jù)或者更廣義的 3D 點(diǎn)云數(shù)據(jù)等，結(jié)構(gòu)數(shù)據(jù)區(qū)別于原始圖片數(shù)據(jù)的一個重要特點(diǎn)是不僅有節(jié)點(diǎn)（節(jié)點(diǎn)對應(yīng)原來圖片的像素），還有節(jié)點(diǎn)之間的相互連接。以經(jīng)典的圖結(jié)構(gòu)——分子數(shù)據(jù)結(jié)構(gòu)為例，分子由原子構(gòu)成，原子可以看作圖的節(jié)點(diǎn)，原子之間的化學(xué)鍵可以看作圖中邊的權(quán)值，這就構(gòu)成了圖結(jié)構(gòu)數(shù)據(jù)。這種數(shù)據(jù)結(jié)構(gòu)廣泛存在于應(yīng)用中，圖結(jié)構(gòu)數(shù)據(jù)比圖片數(shù)據(jù)多考慮了節(jié)點(diǎn)之間的連接。

對于圖分類問題或回歸問題，各個樣本的尺寸和結(jié)構(gòu)可能是不盡相同的，這就導(dǎo)致傳統(tǒng) CNN 方法不適用于新型圖結(jié)構(gòu)數(shù)據(jù)的學(xué)習(xí)、預(yù)測任務(wù)。

幾何深度學(xué)習(xí)實(shí)際上是這幾年才發(fā)展起來的，特別是從 2021 年開始大家才廣泛關(guān)注幾何深度學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)，因?yàn)?2021 年 AlphaFold 實(shí)現(xiàn)了對蛋白質(zhì)結(jié)構(gòu)的準(zhǔn)確預(yù)測，準(zhǔn)確率可以達(dá)到 95% 以上。這樣高精度而且非?？焖俚念A(yù)測工具，是基于一些幾何深度學(xué)習(xí)的模塊。這項(xiàng)工作被 Science 評為 2021 年十大科學(xué)進(jìn)展之最。圖神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于其他領(lǐng)域，例如它對一些數(shù)學(xué)定理的證明或發(fā)現(xiàn)起到了很好的作用，特別是去年發(fā)表在 Nature 上的一個用 GNN 輔助科學(xué)證明的算法，由 DeepMind 與幾位科學(xué)家合作完成，引起了數(shù)學(xué)圈很大的轟動。

深度學(xué)習(xí)理論，特別是關(guān)于幾何深度學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)的理論，和傳統(tǒng)深度學(xué)習(xí)理論比較類似，研究重點(diǎn)主要包括以下幾個方面：

深度學(xué)習(xí)的表達(dá)能力，涉及到很多的數(shù)學(xué)理論，當(dāng)然也可能涉及一些物理的解釋；

例如，學(xué)習(xí)理論、調(diào)和分析、統(tǒng)計(jì)學(xué)對于研究深度學(xué)習(xí)的泛化能力非常重要；

深度學(xué)習(xí)主要依賴于反向傳播算法，所以最優(yōu)化理論也是一個重要的研究工具；

一些特別有效的算法的設(shè)計(jì)基本原理，也依賴于諸多數(shù)學(xué)理論。

圖神經(jīng)網(wǎng)絡(luò)是幾何深度學(xué)習(xí)的一部分，研究具有結(jié)構(gòu)屬性、拓?fù)湫再|(zhì)的數(shù)據(jù)的學(xué)習(xí)和預(yù)測任務(wù)。圖神經(jīng)網(wǎng)絡(luò)的每一個特征提取層都會對節(jié)點(diǎn)的特征和連接的特征進(jìn)行更新，這種更新模式被叫作消息傳遞模式。

消息傳遞模式指的是要更新某一個點(diǎn)的特征，需要考慮周邊和它相連的點(diǎn)的特征，這里就要用到推進(jìn)函數(shù)。推進(jìn)函數(shù)通常是由一個網(wǎng)絡(luò)對節(jié)點(diǎn)和周邊節(jié)點(diǎn)關(guān)系的刻畫。然后用另一個網(wǎng)絡(luò)整合周邊節(jié)點(diǎn)信息，接著加和到這個節(jié)點(diǎn)本身的特征中，這兩步更新模式就構(gòu)成了一個基本的消息傳遞模式。

圖神經(jīng)網(wǎng)絡(luò)特征提取模塊可以寫成圖卷積的模式，與傳統(tǒng)的 CNN 卷積類似，只不過在圖上定義卷積不如 CNN 直觀，不能用空間域窗口的方式平移得到，但是可以仿照傅里葉卷積的模式，定義圖卷積的模塊。這種卷積被證明和傳統(tǒng) CNN 具有相似的特征提取功能，共享了參數(shù)，并保持了重要的圖結(jié)構(gòu)性質(zhì)，從而在圖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中起到了很好的特征提取作用。其中一個很重要的模塊是由譜圖神經(jīng)網(wǎng)絡(luò)衍生出來的經(jīng)典 GCN 模型，如果寫成譜圖的形式就是 Laplacian 正則化的過程。

如果我們想設(shè)計(jì)更好的，具有更強(qiáng)的魯棒性或者更好抗噪能力的 GNN，可以在正則化中再做一個更新，比如說引入一些小波變換、L1 正則等。事實(shí)上人們設(shè)計(jì)了一些具有多尺度多層分析能力的圖卷積模塊，并且引入了 Shrinkage 技術(shù)等對信號進(jìn)行過濾、對數(shù)據(jù)進(jìn)行壓縮，這些在實(shí)踐中都得到了比較好的驗(yàn)證。

但圖神經(jīng)網(wǎng)絡(luò)有時候還不夠用，因?yàn)殡S著任務(wù)的復(fù)雜，特別是涉及復(fù)雜系統(tǒng)、海量數(shù)據(jù)的研究或者高階任務(wù)的預(yù)測（例如軌跡預(yù)測等新型任務(wù)），傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)還不夠。

人們又考慮是不是能夠在圖學(xué)習(xí)中利用更多的拓?fù)湫畔⒒蚪Y(jié)構(gòu)信息，因此就導(dǎo)出了一種超越神經(jīng)網(wǎng)絡(luò)的單純復(fù)形網(wǎng)絡(luò)的消息傳遞模式，主要克服了圖神經(jīng)網(wǎng)絡(luò)的三個缺陷。第一是圖神經(jīng)網(wǎng)絡(luò)在建模多個節(jié)點(diǎn)相互作用的時候并沒有那么有效；第二是在檢測高階結(jié)構(gòu)（比如二階拓?fù)浣Y(jié)構(gòu)）時，圖神經(jīng)網(wǎng)絡(luò)由于只考慮了關(guān)系，即連接節(jié)點(diǎn)的邊而并沒有考慮環(huán)或者面的信息和特征，因此 GNN 不能完成高階任務(wù)；第三是不能有效地處理高階信號，例如預(yù)測從某一點(diǎn)到另一點(diǎn)的軌跡信息。

單純復(fù)形網(wǎng)絡(luò)和傳統(tǒng)的消息傳遞模式很類似，只不過在傳遞的過程中不僅考慮了兩個節(jié)點(diǎn)之間邊的連接，還考慮了高階結(jié)構(gòu)（比如三角形或多邊形）中的拓?fù)浣Y(jié)構(gòu)。把這些加入到消息傳遞模式中，就形成了單純復(fù)形消息傳遞模式。

這樣的模式可以更好地完成一些復(fù)雜任務(wù)，而且事實(shí)證明它們的表達(dá)能力比傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)更強(qiáng)。在一些特殊任務(wù)（例如軌跡預(yù)測任務(wù)）上，同等條件下比圖神經(jīng)網(wǎng)絡(luò)的效果好很多。

關(guān)于未來的趨勢有很多個角度可以講，這里稍微列幾個大家可能感興趣或者比較重要的方向。

首先，圖神經(jīng)網(wǎng)絡(luò)原來是一個圖結(jié)構(gòu)數(shù)據(jù)，是一種離散化的結(jié)構(gòu)，但是數(shù)學(xué)工具往往是坐落在連續(xù)空間上的，所以近來大家考慮將微分幾何的一些方法引入到 GNN 中，包括新型等變 GNN 的架構(gòu)，利用對稱性等工具，以更好地理解和利用深度學(xué)習(xí)模型中圖結(jié)構(gòu)性質(zhì)的不確定性。

這里有一些值得關(guān)注的點(diǎn)，包括利用對稱性形成更有效的學(xué)習(xí)模型；應(yīng)用最優(yōu)傳輸?shù)乃枷?；在表示學(xué)習(xí)中使用微分幾何的一些概念，特別是人們對理解關(guān)系數(shù)據(jù)的幾何，并利用這些見解學(xué)習(xí)歐氏幾何或非歐幾何的表示有很濃厚的興趣。由此產(chǎn)生了許多采用特定幾何進(jìn)行編碼的架構(gòu)，比如一種利用雙曲幾何的 GNN 模型，由 2019 年首次引入，最近又有了新的進(jìn)展。此外，過去一年里提出了大量涉及雙曲幾何的新型模型和架構(gòu)，以捕獲更復(fù)雜的圖數(shù)據(jù)中的結(jié)構(gòu)特征。另一個思路則是利用等方差或者對稱形式的幾何信息構(gòu)建圖神經(jīng)網(wǎng)絡(luò)。

離散微分幾何也被用于深入了解圖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和解釋，曲率的離散概念可以表征離散結(jié)構(gòu)的局部和全局的幾何特性。圖神經(jīng)網(wǎng)絡(luò)往往會有過度擠壓的效應(yīng)，因?yàn)楣?jié)點(diǎn)之間有相互連接所以信息傳遞比普通的 CNN 要快。最近一些專家提出了一些基于曲率的圖學(xué)習(xí)解釋方法，用曲率刻畫過度擠壓的效率，這在圖神經(jīng)網(wǎng)絡(luò)中是非常重要的任務(wù)。另外，有研究利用里奇曲率提出了一種減輕圖神經(jīng)網(wǎng)絡(luò)擠壓效應(yīng)的新方法。未來，離散曲率可能會和圖機(jī)器學(xué)習(xí)中的其他結(jié)構(gòu)或拓?fù)鋯栴}相關(guān)聯(lián)，這個課題也將繼續(xù)影響該領(lǐng)域，并進(jìn)入更多應(yīng)用領(lǐng)域。

這些改進(jìn)有望推動計(jì)算方面的進(jìn)步。由于借鑒傳統(tǒng)的歐氏空間數(shù)據(jù)的表示學(xué)習(xí)思路來降低非歐空間的算法復(fù)雜度。例如，采用離散曲率幾何工具的計(jì)算成本往往是很高的，難以將它們集成到大規(guī)模的應(yīng)用程序之中。因此，人們將提出一些先進(jìn)的計(jì)算方法和專業(yè)化的軟件包來使這種幾何思想更容易為從業(yè)者所接受。

上述消息傳遞模式將成為一種主要范式。2021 年的時候牛津大學(xué) (University of Oxford) 的 Michael Bronstein 預(yù)測說圖機(jī)器學(xué)習(xí)進(jìn)步需要脫離來自于 2020 年以及之前主導(dǎo)該領(lǐng)域消息傳遞的思路。不過在 2021 年的時候，這個預(yù)言只實(shí)現(xiàn)了一部分，在接下來的研究中預(yù)計(jì)會進(jìn)一步發(fā)展。其中有一種思路是消息傳遞模式可以引入子圖神經(jīng)網(wǎng)絡(luò)，子圖結(jié)構(gòu)能夠?qū)μ卣鬟M(jìn)行更有效的刻畫，子圖神經(jīng)網(wǎng)絡(luò)有望突破限制。該方法的思路是將圖表示成子結(jié)構(gòu)的集合，這個想法可以追溯到 1960 年代的圖重構(gòu)猜想，現(xiàn)在圖神經(jīng)網(wǎng)絡(luò)將讓它重新煥發(fā)生機(jī)，學(xué)者們認(rèn)為子圖 GNN 和相應(yīng)的重構(gòu)猜想會是未來一個主要的研究方向。

2021 年以來還有一個新的趨勢是將微分方程引入神經(jīng)網(wǎng)絡(luò)。2021 年有研究通過物理系統(tǒng)的動力學(xué)重新設(shè)計(jì)圖學(xué)習(xí)模型，其中的動力學(xué)往往由微分方程來表達(dá)。另外，圖神經(jīng)網(wǎng)絡(luò)還可以與微分方程的求解方式相結(jié)合，偏微分方程可以對圖上信息的傳播進(jìn)行建模，很多標(biāo)準(zhǔn)的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)可以看作是求解微分方程的數(shù)值迭代解，這個和 2019 年 NeurlPS 上的最佳論文 Neural ODE 的思想很像，將偏微分方程用于圖形網(wǎng)絡(luò)可能會產(chǎn)生一些新的突破。

這種對連續(xù)對象離散化的方法帶來了令人耳目一新的效果，讓圖神經(jīng)網(wǎng)絡(luò)能夠?yàn)橄掠螜C(jī)器學(xué)習(xí)任務(wù)提取更有益的信息，并將焦點(diǎn)從支持一種信息轉(zhuǎn)移到支持圖結(jié)構(gòu)信號計(jì)算的模式上。特別是 2022 年使用圖作為一種機(jī)制來執(zhí)行本地化的連貫計(jì)算將成為一種新的趨勢，這種新想法在數(shù)據(jù)集上會交換有關(guān)的數(shù)據(jù)信息，并將其用作數(shù)據(jù)的整體屬性歸零的機(jī)制，這是一條有益的途徑。

圖神經(jīng)網(wǎng)絡(luò)還受到信號處理、神經(jīng)科學(xué)、物理學(xué)思想的啟發(fā)，獲得了新的靈感。很多人認(rèn)為圖信號處理將重新點(diǎn)燃人們對圖機(jī)器學(xué)習(xí)的興趣，并提供一套數(shù)學(xué)工具，比如廣義傅里葉變換，即圖上的傅里葉變換，或圖上的小波變換等。經(jīng)典的信號處理和物理學(xué)所依賴的基本技術(shù)（比如表示論），在圖神經(jīng)網(wǎng)絡(luò)上的應(yīng)用已經(jīng)于 2021 年取得了一些重要進(jìn)展，并且仍有很多開發(fā)空間。經(jīng)典的線性變換、傅里葉變換、小波變換的吸引人之處在于提供了一種具有數(shù)學(xué)屬性的通用隱式空間 (latent space) 和完備的數(shù)據(jù)表示，比如平滑信號具有低頻傅里葉系數(shù)，而分段平滑信號具有稀疏和局部的小波系數(shù)。過去有構(gòu)建線性變換來揭示信號特性的傳統(tǒng)，特別是有些物理學(xué)家在設(shè)計(jì)基于群作用下的不同對稱性的等變變換方面，會采用仿射群的連續(xù)小波變換等，這些技術(shù)都有可能用到圖機(jī)器學(xué)習(xí)或幾何深度學(xué)習(xí)里。

并且有研究人員預(yù)計(jì)構(gòu)建結(jié)構(gòu)化的潛在空間的趨勢將在 2022 年繼續(xù)得到發(fā)展，部分是由于應(yīng)用程序的需求，但也出于交換適應(yīng)性和可解釋性的普遍愿望。例如結(jié)構(gòu)化變換域不是自適應(yīng)的，但是非常容易讀取，而圖神經(jīng)網(wǎng)絡(luò)將有助于實(shí)現(xiàn)兩者的平衡。總的來說，受信號處理和神經(jīng)科學(xué)啟發(fā)的圖神經(jīng)網(wǎng)絡(luò)將越來越具有市場，也將有越來越多樣化的應(yīng)用（例如基于海量數(shù)據(jù)的交通預(yù)測、智慧城市建設(shè)），模擬復(fù)雜的物理動力學(xué)以及神經(jīng)數(shù)學(xué)分析等方面將會起到重要的作用。

在研究更復(fù)雜的任務(wù)時，例如先前提到的復(fù)雜系統(tǒng)建模，可能需要更高階的拓?fù)湫畔磉M(jìn)行模型的訓(xùn)練，甚至需要超越圖神經(jīng)網(wǎng)絡(luò)。復(fù)雜系統(tǒng)的應(yīng)用也很廣，2021 年的物理諾獎頒給了以復(fù)雜系統(tǒng)成名的喬治 · 帕里西 (Giorgio Parisi)，以表彰他在這方面的研究突破。雖然在基本抽象的層面上，復(fù)雜系統(tǒng)通?？梢悦枋鰹閳D（graph），但必須考慮更為復(fù)雜的結(jié)構(gòu)，例如非成對關(guān)系和一些動態(tài)行為。2021 年的很多工作都涉及到動態(tài)圖和動態(tài)關(guān)系系統(tǒng)的預(yù)測，并展示了如何將圖神經(jīng)網(wǎng)絡(luò)拓展到高階結(jié)構(gòu)。

2021 年，單純復(fù)形的消息傳遞模式解決了圖神經(jīng)網(wǎng)絡(luò)的許多限制，例如檢測某些子結(jié)構(gòu)，捕獲遠(yuǎn)程和高階交互，處理高階特征和轉(zhuǎn)譯 WL 層次的結(jié)構(gòu)。實(shí)踐中，在分子屬性的預(yù)測問題以及軌跡追蹤問題中都取得了很好的結(jié)果。我預(yù)計(jì)這些方法將在 2022 年擴(kuò)展為更為激動人心的新應(yīng)用，比如用于計(jì)算大數(shù)據(jù)拓?fù)?，關(guān)系預(yù)測和計(jì)算機(jī)通信學(xué)領(lǐng)域的難題中。

動態(tài)圖也有很多實(shí)際的應(yīng)用，例如新冠傳播預(yù)測，交通預(yù)測，軌跡建模，這些應(yīng)用往往需要捕獲高度結(jié)構(gòu)化的時序數(shù)據(jù)的復(fù)雜動態(tài)效應(yīng)。圖機(jī)器學(xué)習(xí)提供了捕獲空間依賴性，時間序列之間的交互以及動態(tài)相關(guān)性的能力，在接下來的研究中應(yīng)該能夠看到時序數(shù)據(jù)和動態(tài)系統(tǒng)結(jié)合的想法被用于圖神經(jīng)網(wǎng)絡(luò)中，也希望這些想法能夠產(chǎn)生新的模型設(shè)計(jì)、訓(xùn)練方法以及對復(fù)雜動力機(jī)制的嚴(yán)格解釋。

另外，推理、公理、泛化在圖機(jī)器學(xué)習(xí)中會是比較大的問題。2021 年，由 DeepMind 做出的基于算法推理的圖神經(jīng)網(wǎng)絡(luò)，能夠用于解決一些數(shù)學(xué)猜想和定理。他們開發(fā)與廣義貝爾曼 - 福德 (Bellman-Ford) 算法一致的知識圖譜推理器，從而利用分布變化顯示因果模型來設(shè)計(jì)圖神經(jīng)網(wǎng)絡(luò)，這個方向具有很好的前景，而且通用性很強(qiáng)，可以為 GNN 開辟未來，我覺得 2022 年可能會有一些比較好的探索。

圖神經(jīng)網(wǎng)絡(luò)還有可能和強(qiáng)化學(xué)習(xí)結(jié)合，強(qiáng)化學(xué)習(xí)是當(dāng)今人工智能研究中比較突出和活躍的領(lǐng)域之一，通常強(qiáng)化學(xué)習(xí)中的 agent 或環(huán)境表示中都會出現(xiàn)圖結(jié)構(gòu)和對稱性。2021 年有兩個比較相關(guān)的重要進(jìn)展，一個是利用基于注意力機(jī)制的圖表示來建立強(qiáng)化學(xué)習(xí)的基準(zhǔn)，以提高模型的泛化和遷移能力，這方面已經(jīng)應(yīng)用到連續(xù)控制、多智能體強(qiáng)化學(xué)習(xí)和機(jī)器人協(xié)同作業(yè)的復(fù)雜任務(wù)中。另一個方面，強(qiáng)化學(xué)習(xí)的應(yīng)用已經(jīng)擴(kuò)展到具有基于圖的狀態(tài)和動態(tài)空間的環(huán)境場景下，在電網(wǎng)控制、組合優(yōu)化，以及在圖論中尋找反例和解決猜想中都起到了很大的作用。

圖可能是將強(qiáng)化學(xué)習(xí)帶入現(xiàn)實(shí)世界的一個關(guān)鍵技術(shù)，在芯片設(shè)計(jì)、代碼建模、****物發(fā)現(xiàn)、AI for science 的科學(xué)應(yīng)用、經(jīng)濟(jì)學(xué)等諸多領(lǐng)域都是無所不在的。2022 年可能會見證基于強(qiáng)化學(xué)習(xí)的基準(zhǔn)和圖結(jié)合的寒武紀(jì)爆發(fā)，這將引領(lǐng)強(qiáng)化學(xué)習(xí)研究朝著應(yīng)用的方向發(fā)展，并會啟發(fā)很多基礎(chǔ)研究。我期望 2022 年基于 Transformer 和類似的圖注意力機(jī)制網(wǎng)絡(luò)的方法，能夠與強(qiáng)化學(xué)習(xí)結(jié)合。在不久的將來，圖網(wǎng)絡(luò)等方差、強(qiáng)化學(xué)習(xí)的組合優(yōu)化等方面也會有很大的突破，并將在分子設(shè)計(jì)、網(wǎng)絡(luò)規(guī)劃、芯片設(shè)計(jì)等領(lǐng)域有廣泛應(yīng)用。

特別地，圖神經(jīng)網(wǎng)絡(luò)廣泛用于****物的發(fā)現(xiàn)和設(shè)計(jì)，并且已從圖神經(jīng)網(wǎng)絡(luò)和 Transformer 的融合中獲益不少。GNN 的起源也是來自于計(jì)算化學(xué)的研究，分子圖的分析是 GNN 最流行的應(yīng)用之一。2021 年該領(lǐng)域持續(xù)取得了非常重大的進(jìn)展，并涌現(xiàn)出數(shù)十種新型網(wǎng)絡(luò)結(jié)構(gòu)和多項(xiàng)基準(zhǔn)測試結(jié)果?；趫D的 Transformer 也倍受矚目，繼承了這些結(jié)構(gòu)在 NLP 中的優(yōu)點(diǎn)。GNN 和 Transformer 相結(jié)合應(yīng)用到****物研發(fā)或其他分子預(yù)測任務(wù)中，能夠起到跨任務(wù)、加強(qiáng)泛化能力的作用。

人工智能驅(qū)動的****物發(fā)現(xiàn)也越來越多地使用幾何和圖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，AlphaFold 和分子圖神經(jīng)網(wǎng)絡(luò)的成果讓我們離 AI 設(shè)計(jì)新****的夢想更近了一步，特別是 Alphabet 新子公司 Isomorphic Labs 的成立表明了業(yè)界對這項(xiàng)技術(shù)寄予厚望。其中，利用 AI 模 擬分子的相互作用成為實(shí)現(xiàn)這些目標(biāo)而必須跨越的重要前沿課題。這可能是未來的一個趨勢，因?yàn)楝F(xiàn)在只能預(yù)測分子的一些固定結(jié)構(gòu)，不能很好預(yù)測分子之間的相互作用，或者是多個粒子之間的相互作用。另外，基于細(xì)胞圖（cell graph）的 GNN 在軟物質(zhì)（或凝聚態(tài)物理）研究中的應(yīng)用將進(jìn)一步發(fā)展。

最后，我簡單介紹一下圖神經(jīng)網(wǎng)絡(luò)與量子機(jī)器學(xué)習(xí)的結(jié)合。量子機(jī)器學(xué)習(xí)對領(lǐng)域內(nèi)大多數(shù)研究者來說仍是一個奇特的設(shè)想，但隨著量子計(jì)算硬件的出現(xiàn)，它已經(jīng)迅速成為可能的現(xiàn)實(shí)。最近，Alphabet X 公司展示了量子機(jī)器學(xué)習(xí)架構(gòu)中圖結(jié)構(gòu)歸納偏差的優(yōu)勢。2022 年，擴(kuò)展圖量子機(jī)器學(xué)習(xí)將是一個激動人心的研究方向，將探索圖之外的幾何深度學(xué)習(xí)理論的量子版本。量子物理系統(tǒng)通常具有豐富的群對稱性，這些對稱性已被廣泛地納入到幾何深度學(xué)習(xí)的研究中。這些群對稱性也可用于量子架構(gòu)的設(shè)計(jì)，從而進(jìn)一步提高我們使用量子計(jì)算機(jī)對此類系統(tǒng)進(jìn)行生成建模的能力。

我今天的介紹就到這里，謝謝大家。