總結(jié)機器學習3個時代的算力規(guī)律：大模型的出現(xiàn)改變了什么？

作者 | 劉媛媛

來源丨數(shù)據(jù)實戰(zhàn)派

圖 1：1950 年至 2022 年間 118 個里程碑機器學習系統(tǒng)的趨勢。我們區(qū)分了三個時代。注意大約 2010 年的斜率變化，與深度學習的出現(xiàn)相匹配；2015年底出現(xiàn)了新的大規(guī)模趨勢。
預測機器學習領域的進展是很困難，其與行業(yè)、政策和社會中的參與者有著重要的相關性。
十年后計算機視覺會好多少？機器能否寫出比我們更好的小說嗎？我們將能夠自動化哪些工作？
這些問題回答起來是很困難，因為它們?nèi)Q于許多因素。然而，隨著時間的推移，所有這些因素的影響中有一個因素——算力，有著驚人地規(guī)律。
已有數(shù)據(jù)顯示，2010年之前，訓練算力的增長率符合摩爾定律（Moore’s law），大約每20個月翻一番。
從2010年之后深度學習開始來臨，訓練算力的增長率大幅度提升，大約每6個月翻一番。2015年末，隨著許多公司開始開發(fā)大規(guī)模的機器學習模型，對訓練算力的要求提高了10到100倍，于是，一種新的趨勢又出現(xiàn)了。
基于上述發(fā)現(xiàn)，一支聯(lián)合團隊在其研究COMPUTE TRENDS ACROSS THREE ERAS OF MACHINE LEARNING一文中，將機器學習的算力趨勢分為三個時代：前深度學習時代，深度學習時代和大規(guī)模時代，很好地梳理出當前的算力演進脈絡。

圖丨里程碑式大模型信息一覽（https://docs.google.com/spreadsheets/d/1AAIebjNsnJj_uKALHbXNfn3_YsT6sHXtCU0q7OIPuc4/edit#gid=0）：
更具體的，這項研究共有以下三點貢獻：
1）策劃了一個包含100多個具有里程碑意義的機器學習系統(tǒng)的數(shù)據(jù)集，并對訓練它們所需的算力進行了注釋。
2）初步將算力趨勢劃分為三個不同的時代：深度學習前時代、深度學習時代和大規(guī)模時代。這項研究提供了每個時代的倍增時間的估計。
3）在一系列附錄中展示了為驗證這項研究的結(jié)論所開展的一些替代實驗，討論了數(shù)據(jù)的替代解釋以及與以前工作的差異。
另外，這項研究所采用的數(shù)據(jù)集、數(shù)據(jù)和交互式可視化均是公開的。
一、深度學習的出現(xiàn)
這項研究根據(jù)三個不同的時代和三個不同的趨勢來解釋這項研究整理的數(shù)據(jù)。
簡而言之，在深度學習開始之前，有一個增長緩慢的時代。2010 年前后，這一趨勢加速發(fā)展，此后一直沒有放緩。另外，在 2015 年到 2016 年出現(xiàn)了大規(guī)模模型的新趨勢，以相似的速度增長，但超過了之前的一到兩個數(shù)量級（orders of magnitude，OOM）。
表1 主要結(jié)果總結(jié)。2010 年隨著深度學習的普及，趨勢加速，2015 年末出現(xiàn)了大規(guī)模模型的新趨勢。
下面，這項研究將首先討論 2010年至2012年左右向深度學習的過渡時期。然后討論大約在 2015年至2016 年出現(xiàn)的大規(guī)模模型時代。
深度學習出現(xiàn)前后存在兩種截然不同的趨勢機制。在此之前，訓練機器學習系統(tǒng)所需的計算量每 17 到 29 個月翻一番。隨后，整體趨勢加快，每 4 到 9 個月翻一番。
前深度學習時代的趨勢大致符合摩爾定律，根據(jù)該定律，晶體管密度大約每兩年翻一番——通常簡化為計算性能每兩年翻一番。
目前尚不清楚深度學習時代從何時開始——從前深度學習時代到深度學習時代的過渡沒有明顯的不連續(xù)性。此外，這項研究將深度學習時代的開始時間分別定在 2010 年和 2012 年，結(jié)果幾乎沒有變化，如表2所示。
圖2. 1952年至2022年間100多個里程碑機器學習系統(tǒng)的訓練算力趨勢。請注意 2010 年左右趨勢的斜率變化。
表2 1952 年至 2022 年 ML 模型的對數(shù)線性回歸結(jié)果
二、大模型的出現(xiàn)
2015-2016 年左右出現(xiàn)了大規(guī)模模型的新趨勢。
這種新趨勢始于 2015 年底的 AlphaGo，并一直持續(xù)到今天。這些大規(guī)模模型是由大公司訓練的，其較大的訓練預算想必能夠打破之前的趨勢。

另外，常規(guī)比例模型的趨勢仍不受干擾。這種趨勢在 2016 年前后是連續(xù)的，斜率相同，每5到6個月翻一番，見表3大規(guī)模模型中計算量增加的趨勢明顯變慢，每9到10個月翻一番。由于這項研究對這些模型的相關數(shù)據(jù)有限，所以明顯的放緩的趨勢也可能是噪聲的結(jié)果。這項研究發(fā)現(xiàn)的結(jié)果與2018年Amodei & Hernandez等人的發(fā)現(xiàn)形成鮮明的對比，后者發(fā)現(xiàn) 2012 年至 2018 年之間的倍增期更快，為3.4個月，而2021年Lyzhov發(fā)現(xiàn)2018年至2020年之間的倍增期更長，超過2年。
由于他們的分析數(shù)據(jù)樣本有限且假設單一趨勢，因此與這項研究發(fā)現(xiàn)的結(jié)果存在巨大差異。而這項研究分別研究大規(guī)模模型和常規(guī)規(guī)模模型，且大規(guī)模模型的趨勢是最近幾年才出現(xiàn)，以前的分析無法區(qū)分這兩種不同的趨勢。
圖2. 2010~2022年100多個里程碑式機器學習系統(tǒng)的訓練計算趨勢。注意 2016 年左右可能出現(xiàn)的大規(guī)模模型新趨勢。其余模型的趨勢在 2016 年前后保持不變。


表3. 2010~2022年數(shù)據(jù)的對數(shù)線性回歸結(jié)果。2015 年之前的常規(guī)尺度模型的趨勢在之后繼續(xù)不間斷。
三、結(jié)論與方向
這項研究通過管理100 多個里程碑式機器學習系統(tǒng)的訓練計算數(shù)據(jù)集來研究算力趨勢，并使用這些數(shù)據(jù)分析趨勢如何隨著時間的推移而增長。
團隊表示，希望這項研究的工作能夠幫助其他人更好地了解到機器學習系統(tǒng)的最新進展是由規(guī)模增加推動的，從而進一步改進對高級機器學習系統(tǒng)開發(fā)的預測。
此外，訓練算力的增長趨勢，凸顯了硬件基礎設施和工程師的戰(zhàn)略重要性。
機器學習的前沿研究已成為訪問大量算力預算或算力集群以及利用它們的專業(yè)知識的代名詞。
這項研究未涉及的一個方面是用于訓練機器學習模型的另一個關鍵可量化因素——數(shù)據(jù)，未來可以嘗試研究數(shù)據(jù)集大小及其與算力趨勢的關系。
論文鏈接：https://arxiv.org/pdf/2202.05924.pdf