圖靈獎得主Jack Dongarra：超級計算頂部還有很大空間

在最近的一次采訪中，2021 年圖靈獎得主 Jack Dongarra 談了談高性能計算當(dāng)前的發(fā)展?fàn)顩r以及未來有潛力的發(fā)展方向。

超級計算機可以說是科學(xué)計算界的奧運冠軍。通過數(shù)值模擬，超級計算機豐富了我們對世界的理解：無論是宇宙中數(shù)光年之外的恒星、地球的天氣和氣候，還是人體的運作機理。

四十多年來，Jack Dongarra 一直是高性能計算領(lǐng)域的推動者。今年早些時候，2021 年 ACM A.M. 圖靈獎授予 Dongarra，以表彰 "他對數(shù)值算法和工具庫的開創(chuàng)性貢獻，讓高性能計算軟件在四十多年里能夠跟上硬件的指數(shù)式發(fā)展"。

本文作者 Bennie Mols 于 9 月在德國舉行的第九屆海德堡桂冠論壇期間見到了 Dongarra，并探討了高性能計算的當(dāng)下和未來?，F(xiàn)年 72 歲的 Dongarra 是田納西大學(xué)的特聘教授，自 1989 年以來一直是美國能源部橡樹嶺國家實驗室的特聘研究人員。Bennie Mols 是駐荷蘭阿姆斯特丹的科學(xué)和技術(shù)作家。

以下是采訪內(nèi)容

Q1：幾十年來，您進行科學(xué)研究的動力是什么？

A：我主攻的是數(shù)學(xué)方面的研究，尤其是數(shù)值線性代數(shù)方面，我所有的工作都源于此。對于諸如物理和化學(xué)這類需要計算——尤其是解線性方程組——的學(xué)科來說，一款能計算答案的軟件無疑是非常重要的。同時，你還必須確保軟件的運行與機器的架構(gòu)相一致，這樣才能真正獲得機器所能達到的高性能。

Q2：對于在超級計算機上運行的軟件來說，最重要的要求是什么？

A：我們希望該軟件的計算結(jié)果是準(zhǔn)確的。我們希望科學(xué)界能夠使用和理解這個軟件，甚至可以對其改進作出貢獻。我們希望軟件性能良好，可以在不同的機器上移植。我們希望代碼是可讀的、可靠的。最后，我們希望軟件能夠提高使用它的人的生產(chǎn)力。

開發(fā)滿足所有這些要求的軟件是一個非同小可的過程。這種級別的工程往往有數(shù)百萬行的代碼，而且大約每隔 10 年，我們就會看到機器架構(gòu)發(fā)生一些重大變化。這將導(dǎo)致我們需要對算法和體現(xiàn)這些算法的軟件進行重構(gòu)。軟件跟著硬件走，在超級計算的頂層仍有很大的空間，來達到更好的機器性能。

Q3：目前在高性能計算方面有什么令你興奮的發(fā)展？

A：我們的高性能超級計算機是建立在第三方元件上的，比方說你和我也能買到高端芯片，只是高性能計算機上需要很多。通常我們在高性能計算機上面以 GPU 的形式使用一些加速器。我們將多個芯片開發(fā)板放在一個機架上，許多這樣的機架一起組成一臺超級計算機。我們使用第三方元器件的原因在于它更便宜，但如果你專門設(shè)計芯片來做科學(xué)計算，你會得到性能更好的超級計算機，這是一個令人興奮的想法。

事實上，這正是亞馬遜、Facebook、谷歌、微軟、騰訊、百度和阿里巴巴等公司正在做的事情；他們正在制造自己的芯片。他們可以這樣做，因為他們有龐大的資金，而高校的資金是有限的，因此不幸地不得不使用第三方的產(chǎn)品。這與我的另一個擔(dān)憂有關(guān)：我們?nèi)绾螌⑷瞬帕粼诳茖W(xué)領(lǐng)域，而不是看到他們?nèi)閳蟪旮叩拇蠊竟ぷ鳎?/span>

Q4：對于高性能計算的未來，還有哪些重要的發(fā)展？

A：確實有一些重要的事情。很明顯，機器學(xué)習(xí)已經(jīng)對科學(xué)計算產(chǎn)生了重要影響，而且這種影響只會越來越大。我認為機器學(xué)習(xí)是一種工具，有助于解決計算科學(xué)家想要解決的問題。

這與另一個重要的發(fā)展相輔相成。傳統(tǒng)上，我們的硬件使用 64 位浮點運算，所以數(shù)字也用 64 位表示。但是，如果你使用更少的比特，例如 32、16、甚至 8 比特，你可以加快計算速度。但是加快計算速度，就會失去精度。然而，人工智能的計算看起來往往可以用更少的比特，16 甚至 8 比特來完成。這是一個需要探究的領(lǐng)域，我們需要找出在什么情況下縮減位數(shù)效果好，什么情況下效果不好。

另一個研究領(lǐng)域是關(guān)于如何從低精度的計算開始，得到一個近似值，然后再使用更高精度的計算來細化結(jié)果。

Q5：超級計算機的功耗如何？

A：現(xiàn)在性能最好的超級計算機消耗 20 或 30 兆瓦，以達到每秒百億億次浮點運算的速度。如果地球上的每個人每秒鐘做一次計算，那么需要四年多的時間才能完成超大規(guī)模計算機在一秒鐘內(nèi)完成的工作。可能在 20 年內(nèi)，我們要達到 zettaflop 的規(guī)模，也就是 10 的 21 次方次浮點數(shù)運算。然而，功耗可能會成為限制性因素。你將需要一個 100 或 200 兆瓦的機器，目前來看這太耗能了。

Q6：您如何看待量子計算在未來高性能計算中的作用？

A：我認為量子計算能解決的問題是有限的，它不會解決像三維偏微分方程這樣的問題，我們在這方面經(jīng)常使用超級計算機，如氣候建模。

在未來，我們將構(gòu)建一個包含不同類型計算工具的集成工具。我們將有處理器和加速器，我們將有幫助機器學(xué)習(xí)的工具，我們很可能有以大腦的方式進行神經(jīng)形態(tài)計算的設(shè)備，我們將有光學(xué)計算機，此外，我們將有量子計算機來解決特定的問題。

原文鏈接：https://cacm.acm.org/news/265289-there-is-plenty-of-room-at-the-top-of-supercomputing/fulltext