原創(chuàng) | 一文帶你速讀計算化學領(lǐng)域頂會論文

計算模擬和實驗研究是當今研究化學，生物學和材料科學的兩個重要手段。當前，以機器學習為代表的人工智能技術(shù)在科學計算領(lǐng)域潛力巨大，展示出旺盛的生命力和光明前景。本文解讀了機器學習在計算化學領(lǐng)域的最新研究，帶你速讀4篇相關(guān)領(lǐng)域的最新頂會論文。

1. 1. 論文題目：So3krates: Equivariant attention for interactions on arbitrary length-scales in molecular systems（NIPS 2022） 

鏈接：https://arxiv.org/pdf/2205.14276.pdf

機器學習方法在量子化學中的應用已經(jīng)使得許多傳統(tǒng)的原位方法無法計算的化學現(xiàn)象能夠被研究。由于機器學習力場往往關(guān)注局部原子的相互作用，這常常使得長程相互作用被忽視。這篇文章引入球諧坐標系，以反映分子中每個原子的高階幾何信息，使得在歐式空間距離較遠卻存在長程相互作用的原子在球諧空間得以反映。提出的模型SO3KRATES3 - 基于自我注意力的傳遞神經(jīng)網(wǎng)絡 - 將幾何信息與原子特征解耦，使它們能夠被獨立地被注意力機制處理。結(jié)果表明，SO3KRATES能夠描述任意長度尺度上的非局部量子力學效應。而解耦機制的引入，使得該模型在不嚴重損失精度的前提下，可以得到更好地加速比。

圖1：SO3KRATES3 - 基于自我注意力的傳遞神經(jīng)網(wǎng)絡 - 將幾何信息與原子特征解耦以提高加速比

1. 2. 論文題目：EQUIFORMER: EQUIVARIANT GRAPH ATTENTION TRANSFORMER FOR 3D ATOMISTIC GRAPHS（ICLR 2023）

鏈接：https://arxiv.org/pdf/2206.11990.pdf

盡管Transformer網(wǎng)絡在各個領(lǐng)域取得了廣泛的成功，但在3D原子圖領(lǐng)域，如分子，即使考慮到3D相關(guān)的物理約束，如平移不變性和旋轉(zhuǎn)等變性（指的是分子的能量或者受力性質(zhì)不會隨著他們的旋轉(zhuǎn)，平移等變化），它們?nèi)匀槐憩F(xiàn)不佳。本文展示了Transformer可以很好地推廣到3D原子圖，并提出了Equiformer，一種利用Transformer網(wǎng)絡并結(jié)合基于不可約表示-等變圖神經(jīng)網(wǎng)絡。首先，我們通過僅將Transformer網(wǎng)絡原始操作替換為它們的等變操作，最小限度地修改Transformer網(wǎng)絡。其次，我們提出了一種新型的注意力機制，稱為等效圖注意力。它通過用多層感知器注意力替換點積注意力并采用非線性消息傳遞來改進傳統(tǒng)的Transformer。通過這兩個創(chuàng)新，Equiformer在QM9、MD17和OC20數(shù)據(jù)集上取得了比以前模型更具競爭力的結(jié)果。

圖2：Equiformer的網(wǎng)絡結(jié)構(gòu)圖：它通過用多層感知器注意力替換點積注意力并采用非線性消息傳遞來改進傳統(tǒng)的Transformer

1. 3. 論文題目：Uncertainty-driven dynamics for active learning of interatomic potentials（Nature Computational Science）

鏈接：https://www.nature.com/articles/s43588-023-00406-5

主動學習（AL）是一種強大的工具，可迭代生成多樣化的數(shù)據(jù)集。

一般來說可以采用委員會質(zhì)詢(query by committee ,QBC)策略和元動力學方法QBC對不確定性的估計是集合內(nèi)多個模型的不一致性。通常，一個組合中有多個神經(jīng)網(wǎng)絡，它們使用相同的結(jié)構(gòu)和超參數(shù)，但在訓練之前使用不同的模型參數(shù)的初始隨機化以及不同的訓練/驗證數(shù)據(jù)分割。實驗觀察到，在集合預測的變異性與實際預測誤差之間有良好的相關(guān)性，這表明預測任務需要超出訓練數(shù)據(jù)范圍的外推。在QBC策略中，如果觀察到這種集合變異性很大，則訓練集將用新的模擬數(shù)據(jù)進行擴充。

元動力學是一種有效的勢能面探索方法，它基于集體變量(CVs)的概念。通過偏置勢的引入可以使分子在研究過程中遵循所選的集體變量路徑。通過對偏置勢的調(diào)整，可以獲得更好的勢能面信息，從而更準確地描述反應路徑。因此，在使用元動力學方法進行反應研究時，偏置勢經(jīng)常被使用，以提高計算的準確性和效率。然而，CV需要手動選擇，而且它們的數(shù)量在實踐中是有限的。選擇合理的自由度來表示反應需要直覺，并且可能會導致錯誤。

在這里，作者開發(fā)了一種策略，綜合上述方法的優(yōu)點以更快地發(fā)現(xiàn)有意義地擴充訓練數(shù)據(jù)集的構(gòu)型。這種方法——基于不確定性的主動學習動力學（UDD-AL）——修改了用于分子動力學模擬的勢能面，以支持配置空間中存在大的模型不確定性的區(qū)域。我們在兩個AL任務中展示了UDD-AL的性能：對甘氨酸構(gòu)象空間進行抽樣和對乙酰丙酮中質(zhì)子轉(zhuǎn)移的促進進行抽樣。該方法被證明能夠高效地探索化學構(gòu)型空間，而這可能無法在普通動態(tài)采樣下實現(xiàn)。

圖3：UDD-AL的工作流

1. 4. 論文題目：Equivariant Networks for Crystal Structures （NIPS 2022）

鏈接：https://arxiv.org/abs/2211.15420

使用深度模型進行有監(jiān)督學習在材料科學方面具有巨大的應用潛力。最近，圖神經(jīng)網(wǎng)絡在這一領(lǐng)域得到廣泛應用，直接從分子的模型中受到啟發(fā)。然而，材料通常比分子更具結(jié)構(gòu)上對稱性（晶體有230種空間群，分子只有32種點群），這是這些模型沒有利用的特征。在本文中，引入了一類具有晶體對稱群等變性的模型。通過定義一般化的消息傳遞操作來實現(xiàn)這一點，這些操作可以用于更一般的置換群，或者可以看作是在晶體圖上定義表達卷積的操作。經(jīng)驗上，這些模型在屬性預測任務上取得了與最先進方法相當具有競爭性的結(jié)果。

以上四篇論文代表了人工智能在分子動力學領(lǐng)域的最新進展和研究方向，供在這一領(lǐng)域有深耕意向的讀者參考。