給GNN一堆數(shù)據(jù)，它自己發(fā)現(xiàn)了萬有引力定律

如果牛頓沒被蘋果砸中，GNN 和符號回歸也能發(fā)現(xiàn)萬有引力定律？

機(jī)器學(xué)習(xí) (ML) 推動了科學(xué)的巨大進(jìn)步，從粒子物理學(xué)到結(jié)構(gòu)生物學(xué)再到宇宙學(xué)，機(jī)器學(xué)習(xí)能夠在大型數(shù)據(jù)集中學(xué)習(xí)特征，對不同的對象進(jìn)行分類，并執(zhí)行參數(shù)推斷，以及更具開創(chuàng)性的應(yīng)用，例如自回歸語言模型、預(yù)測蛋白質(zhì)結(jié)構(gòu)，以及蛋白質(zhì)功能預(yù)測。
機(jī)器學(xué)習(xí)強(qiáng)大的學(xué)習(xí)能力，我們不禁會問，機(jī)器學(xué)習(xí)能否僅僅通過觀察我們的太陽系來重新發(fā)現(xiàn)萬有引力定律？
牛頓的萬有引力定律指出，兩個質(zhì)點彼此之間相互吸引的作用力，是與它們的質(zhì)量乘積成正比，并與它們之間的距離成平方反比。它是經(jīng)典力學(xué)的一部分，是在 1687 年于《自然哲學(xué)的數(shù)學(xué)原理》中首次發(fā)表的，并于 1687 年 7 月 5 日首次出版。

近日來自薩塞克斯大學(xué)、倫敦大學(xué)學(xué)院等機(jī)構(gòu)的研究者在論文《 Rediscovering orbital mechanics with machine learning 》中對上述問題進(jìn)行的解答，他們的回答是：可以。

論文作者之一 Miles Cranmer 推特截圖
具體而言，該研究提出了一種采用機(jī)器學(xué)習(xí)方法，通過觀察自動發(fā)現(xiàn)實際物理系統(tǒng)的控制方程和隱藏屬性。研究者訓(xùn)練了一個圖神經(jīng)網(wǎng)絡(luò)，通過 30 年的軌跡數(shù)據(jù)來模擬太陽系的太陽、行星和大型衛(wèi)星的動力學(xué)。然后，他們使用符號回歸來發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)隱式學(xué)習(xí)的力學(xué)定律解析表達(dá)式，結(jié)果表明表達(dá)式等效于牛頓萬有引力定律。

論文地址：https://arxiv.org/pdf/2202.02306.pdf
該研究分為兩個階段：第一階段的學(xué)習(xí)模擬器基于圖網(wǎng)絡(luò) (GN)，圖網(wǎng)絡(luò)是一種深度神經(jīng)網(wǎng)絡(luò)，可以通過訓(xùn)練來逼近圖上的復(fù)雜函數(shù)。在這里，太陽系的太陽、行星和衛(wèi)星的（相對）位置和速度被表示為輸入圖的節(jié)點，而天體之間可能的物理交互（例如力）被表示為圖的邊。該研究將基于 GN 的模擬器與 30 年來觀測到的太陽系軌跡進(jìn)行了擬合。
在第二階段，該研究分離邊函數(shù)（edge function），并應(yīng)用符號回歸擬合邊函數(shù)的解析公式，其最好的擬合是對牛頓萬有引力定律的擬合。然后，該研究使用已發(fā)現(xiàn)的方程重新擬合未觀察到的（相對）天體質(zhì)量，并找到了與天體真實質(zhì)量幾乎完美的擬合。之后研究者可以使用發(fā)現(xiàn)的方程和重新學(xué)習(xí)的質(zhì)量來模擬太陽系動力學(xué)，并獲得與真實觀察到的軌跡非常接近的對應(yīng)關(guān)系。
下圖為太陽、水星、金星、地球和火星的示意圖，以及學(xué)習(xí)模擬器使用的相應(yīng)圖結(jié)構(gòu)。圖的節(jié)點代表天體，邊的亮度與它們之間的引力相互作用的強(qiáng)度成正比。 

數(shù)據(jù)與模型
數(shù)據(jù)：符號回歸研究歷來都專注于玩具（toy）模擬，但是現(xiàn)實世界的數(shù)據(jù)充滿了混亂，包括噪音、信息丟失、未知的物理常數(shù)等。因此該研究直接從對太陽系的觀察中重新發(fā)現(xiàn)軌道力學(xué)。
該研究基于 NASA Horizons 的星歷表 （Ephemeris）數(shù)據(jù)開發(fā)了一個訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集包括太陽系中質(zhì)量超過 10^18 kg 的 31 個天體：太陽、行星、冥王星和一系列衛(wèi)星。訓(xùn)練數(shù)據(jù)來自 1980 年到 2010 年的 30 年期間的數(shù)據(jù)，驗證集來自 2010-2013 年的數(shù)據(jù)。
模型：模型是基于 Battaglia 等人在 2018 年提出的交互網(wǎng)絡(luò)（Interaction Network）的圖神經(jīng)網(wǎng)絡(luò) (GNN)。GNN 非常適合物理數(shù)據(jù)集：它們通過消息傳遞顯式地處理對象（節(jié)點）之間的交互，并允許研究者輕松地將對稱（如置換、平移和旋轉(zhuǎn)等）嵌入到網(wǎng)絡(luò)中。
GNN 的唯一輸入是天體在給定時刻的位置和速度，以及學(xué)習(xí)參數(shù)。通過訓(xùn)練 GNN 來預(yù)測每個天體的加速度，模擬系統(tǒng)的動力學(xué)，以及天體的質(zhì)量。

蒸餾符號規(guī)則
接下來，研究者希望找出 GNN 實際學(xué)會了哪些規(guī)則來預(yù)測這些動態(tài)。將模型壓縮為一組符號規(guī)則也可以提高泛化能力。
為此，該研究使用符號回歸擬合 GNN 消息傳遞模塊的輸入和輸出。符號回歸是一種機(jī)器學(xué)習(xí)算法，可搜索數(shù)百萬個符號表達(dá)式以擬合數(shù)據(jù)。該研究使用 PySR 算法 (Cranmer, 2022) 來完成這項任務(wù)，其中用到了一種進(jìn)化算法。
下圖是從已經(jīng)過學(xué)習(xí)的模擬器中發(fā)現(xiàn)的符號表達(dá)式，從中可以發(fā)現(xiàn)所有情況下輸出變量都是 F_x，

更復(fù)雜的表達(dá)式能更準(zhǔn)確地逼近 GNN 的內(nèi)部函數(shù)。然而，人們總是可以在一個簡單的表達(dá)式中添加其他項來提高它的準(zhǔn)確性，所以簡單性和準(zhǔn)確性是可以權(quán)衡的。該研究使用與 Cranmer 等人 (2020) 相同的分?jǐn)?shù)，成功地模擬了牛頓的萬有引力定律（如上圖藍(lán)綠色所示）。
然后研究者把這個已模擬的規(guī)律，放回 GNN 的消息傳遞模塊中，得到的模擬效果如下：

顯然，性能變好了一些，但仍然不完美，為什么？
為了解決這個問題，研究者首先比較了每個天體的算法估計質(zhì)量與真實質(zhì)量（歸一化到太陽的質(zhì)量范圍內(nèi)）：

與每個天體的真實質(zhì)量相比，模型估計的質(zhì)量偏差很大，有時甚至相差幾個數(shù)量級。
雖然 GNN 中的消息傳遞函數(shù)能夠很好地近似牛頓萬有引力定律，但并不能完全精準(zhǔn)地擬合。神經(jīng)網(wǎng)絡(luò)可以高度學(xué)習(xí)非線性函數(shù)，但這些質(zhì)量參數(shù)可能對 GNN 來說是良好輸入，卻不是 GNN 符號版本的最佳輸入。
因此，該研究決定通過固定的符號表達(dá)式重新擬合質(zhì)量參數(shù)，這種改進(jìn)確實產(chǎn)生了更好的效果：

此時，模型重新估計的天體質(zhì)量和真實質(zhì)量的比較結(jié)果如下圖所示：

改進(jìn)之后，模型估計的天體質(zhì)量幾乎完全匹配真實質(zhì)量。為了解釋這一點，研究者認(rèn)為需要做的是證明該算法的有效性。
我們知道，天體的質(zhì)量只影響它對其他天體的引力，例如如果地球變成兩倍大，月球軌道會受到很大影響，但地球環(huán)繞太陽的軌道會保持不變。對于像 Phoebe、Hyperion 和 Nereid 這樣的天體，由于它們是非常小的衛(wèi)星，對其他天體軌跡的影響可以忽略不計。因此，只要它們的質(zhì)量很小就不會以任何方式影響系統(tǒng)。為了證實這一理論，研究者估計了每個天體對其他天體的引力影響，并聯(lián)合質(zhì)量估計的誤差作圖。

從上圖可以發(fā)現(xiàn)，兩者之間存在明顯的負(fù)相關(guān)，這意味著一個天體對其他天體的引力影響越小，質(zhì)量估計的效果就越差。這也就解釋了該算法如何一步步地成功學(xué)習(xí)了萬有引力定律和預(yù)估天體質(zhì)量。
原文鏈接：https://astroautomata.com/paper/rediscovering-gravity/