深度學(xué)習(xí)算法有望在FPGA和超級(jí)計(jì)算機(jī)上運(yùn)行

隨著人工智能技術(shù)的發(fā)展，各大科技公司都加大在深度學(xué)習(xí)上的投入，而作為美國(guó)國(guó)家科學(xué)基金會(huì)也同樣如此，當(dāng)下，它通過(guò)資助美國(guó)幾所大學(xué)的研究人員，促進(jìn)深度學(xué)習(xí)算法在FPGA和超級(jí)計(jì)算機(jī)上運(yùn)行。雖然目前看到的還只是代表了深度學(xué)習(xí)的一個(gè)趨勢(shì)，但是隨著各大科技公司的商業(yè)運(yùn)營(yíng)以及更多的深度學(xué)習(xí)走進(jìn)大學(xué)研究中心以及國(guó)家實(shí)驗(yàn)室，對(duì)深度學(xué)習(xí)的發(fā)展起到積極的促進(jìn)作用。

以下為原文：

機(jī)器學(xué)習(xí)在過(guò)去的幾年里取得了很大的進(jìn)步，在很大程度上歸功于計(jì)算密集型工作負(fù)載擴(kuò)展新技術(shù)的發(fā)展。NSF最新的資助項(xiàng)目似乎暗示我們看到的可能只是冰山一角，因?yàn)檠芯咳藛T試圖將類(lèi)似深度學(xué)習(xí)的技術(shù)擴(kuò)展到更多的計(jì)算機(jī)和新型的處理器上。

由紐約州立大學(xué)石溪分校團(tuán)隊(duì)實(shí)施的一個(gè)特別有趣項(xiàng)目，該項(xiàng)目旨在證明FPGA（現(xiàn)場(chǎng)可編程門(mén)陣列）優(yōu)于GPU，他們發(fā)現(xiàn)深度學(xué)習(xí)算法在FPGA上能夠更快、更有效地運(yùn)行，這突破了當(dāng)前傳統(tǒng)的認(rèn)識(shí)。

根據(jù)項(xiàng)目概要：

研究人員預(yù)計(jì)在GPU上算法的最慢部分，運(yùn)行在FPGA上將實(shí)現(xiàn)明顯的加速，同時(shí)，在GPU上算法最快的部分在FPGA上將有類(lèi)似的運(yùn)行性能，但是功耗會(huì)極低。

實(shí)際上，除了不同于GPU，在硬件上運(yùn)行這些模型想法并不新奇，例如，IBM最近憑借一個(gè)新的brain-inspired芯片轟動(dòng)一時(shí)，它聲稱(chēng)可以完美支持神經(jīng)網(wǎng)絡(luò)和其他cogniTIve-inspired工作負(fù)載。微軟在今年7月演示了它的Adam項(xiàng)目，這個(gè)項(xiàng)目是重新修改了一個(gè)流行的深度學(xué)習(xí)技術(shù)使其在通用英特爾 CPU處理器上運(yùn)行。

由于其可定制的特點(diǎn)，F(xiàn)PGA有著獨(dú)特的優(yōu)勢(shì)，今年6月，微軟解釋它如何通過(guò)卸載某些進(jìn)程部分到FPGA來(lái)加快Bing搜索。當(dāng)月晚些時(shí)候，在Gigaom的Structure大會(huì)上，英特爾宣布即將推出的混合芯片架構(gòu)將FPGA在CPU共置在一起（實(shí)際上它們會(huì)共享內(nèi)存），這主要針對(duì)專(zhuān)業(yè)大數(shù)據(jù)負(fù)載與微軟必應(yīng)這樣的案例。

然而，F(xiàn)PGA對(duì)于深度學(xué)習(xí)模型來(lái)說(shuō)并不是唯一的、潛在的基礎(chǔ)架構(gòu)選擇。NSF還資助紐約大學(xué)的研究人員，讓他們通過(guò)基于以太網(wǎng)遠(yuǎn)程直接內(nèi)存訪(fǎng)問(wèn)技術(shù)來(lái)測(cè)試深度學(xué)習(xí)算法以及其他工作負(fù)載，這在超級(jí)計(jì)算機(jī)上廣泛使用，但現(xiàn)在要將它帶到企業(yè)系統(tǒng)，RDMA連接器通過(guò)直接發(fā)送消息到內(nèi)存，避免了CPU、交換機(jī)和其他組件給進(jìn)程帶來(lái)的延遲，從而加快計(jì)算機(jī)之間傳輸數(shù)據(jù)速度。

說(shuō)到超級(jí)計(jì)算機(jī)，另一個(gè)新的NSF資助項(xiàng)目，由機(jī)器學(xué)習(xí)專(zhuān)家斯坦福大學(xué)（百度和Coursera）的Andrew Ng和超級(jí)計(jì)算機(jī)專(zhuān)家田納西大學(xué)的Jack Dongarra以及印第安納大學(xué)的Geoffrey Fox領(lǐng)導(dǎo)，旨在使深度學(xué)習(xí)模型利用Python可編程，并且將它帶到超級(jí)計(jì)算機(jī)和擴(kuò)展云系統(tǒng)。據(jù)悉，這個(gè)得到了NSF將近100萬(wàn)美元的資助的項(xiàng)目被稱(chēng)為Rapid Python Deep Learning Infrastructure。

RaPyDLI將被構(gòu)建成一套開(kāi)源的模塊，可以從Python用戶(hù)界面訪(fǎng)問(wèn)，但是可以放心地在最大規(guī)模超級(jí)計(jì)算機(jī)或云的C / C++或Java環(huán)境中通過(guò)互動(dòng)分析和可視化執(zhí)行。RaPyDLI將支持GPU加速器和英特爾Phi協(xié)處理器以及廣泛的存儲(chǔ)技術(shù)包括Files、NoSQL、HDFS和數(shù)據(jù)庫(kù)。
目前做的所有工作都是讓深入學(xué)習(xí)算法更容易并且改善它們的性能，這三個(gè)項(xiàng)目只是一小部分，但是如果這些技術(shù)能夠被科技巨頭用到商業(yè)領(lǐng)域，或者進(jìn)入研究中心以及國(guó)家實(shí)驗(yàn)室利用計(jì)算機(jī)解決真正的復(fù)雜問(wèn)題將是非常有益的。