IBM展示10倍速GPU機(jī)器學(xué)習(xí)，處理30GB訓(xùn)練數(shù)據(jù)只要1分鐘

　　IBM研究院與瑞士洛桑聯(lián)邦理工學(xué)院共同于2017 NIPS Conference發(fā)表大數(shù)據(jù)機(jī)器學(xué)習(xí)解決方案，此方法可以利用GPU在一分鐘內(nèi)處理完30GB的訓(xùn)練數(shù)據(jù)集，是現(xiàn)存有限內(nèi)存訓(xùn)練方法的10倍。

　　研究團(tuán)隊(duì)表示，機(jī)器訓(xùn)練在大數(shù)據(jù)時(shí)代遇到的挑戰(zhàn)是動(dòng)輒TB等級(jí)起跳的訓(xùn)練數(shù)據(jù)，這是常見卻又棘手的問題，或許一臺(tái)有足夠內(nèi)存容量的服務(wù)器，就能將所有訓(xùn)練數(shù)據(jù)都加載內(nèi)存中進(jìn)行運(yùn)算，但是仍要花費(fèi)數(shù)小時(shí)，甚至是數(shù)周。

　　他們認(rèn)為，目前如GPU等特殊的運(yùn)算硬件，的確能有效加速運(yùn)算，但僅限于運(yùn)算密集的工作，而非數(shù)據(jù)密集的任務(wù)。 如果想要善用GPU運(yùn)算密集的優(yōu)勢，便需要把數(shù)據(jù)預(yù)先加載到GPU內(nèi)存，而目前GPU內(nèi)存的容量最多只有16GB，對(duì)于機(jī)器學(xué)習(xí)實(shí)作來說并不算寬裕。

　　批次作業(yè)看似是一個(gè)可行的方法，將訓(xùn)練數(shù)據(jù)切分成一塊一塊，并且依造順序加載至GPU做模型訓(xùn)練，不過經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，從CPU將數(shù)據(jù)搬移進(jìn)GPU的傳輸成本，完全蓋過將數(shù)據(jù)放進(jìn)GPU高速運(yùn)算所帶來的好處。 ，IBM研究員Celestine Dünner表示，在GPU做機(jī)器學(xué)習(xí)最大的挑戰(zhàn)，就是不能把所有的數(shù)據(jù)都丟進(jìn)內(nèi)存里面。

　　為了解決這樣的問題，研究團(tuán)隊(duì)開發(fā)為訓(xùn)練數(shù)據(jù)集標(biāo)記重要性的技術(shù)，因此訓(xùn)練只使用重要的數(shù)據(jù)，那多數(shù)不必要的數(shù)據(jù)就不需要送進(jìn)GPU，藉此大大節(jié)省訓(xùn)練的時(shí)間。 像是要訓(xùn)練分辨狗與貓圖片的模型，一旦模型發(fā)現(xiàn)貓跟狗的差異之一為貓耳必定比狗小，系統(tǒng)將保留這項(xiàng)特征，在往后的訓(xùn)練模型中都不再重復(fù)回顧這個(gè)特征，因此模型的訓(xùn)練會(huì)越來越快。 IBM研究員Thomas Parnell表示，這樣的特性便于更頻繁的訓(xùn)練模型，也能更及時(shí)的調(diào)整模型。

　　這個(gè)技術(shù)是用來衡量每個(gè)數(shù)據(jù)點(diǎn)對(duì)學(xué)習(xí)算法的貢獻(xiàn)有多少，主要利用二元差距的概念并及時(shí)影響調(diào)整訓(xùn)練算法。 將這個(gè)方法實(shí)際應(yīng)用，研究團(tuán)隊(duì)在異質(zhì)平臺(tái)(Heterogeneous compute platforms)上，為機(jī)器學(xué)習(xí)訓(xùn)練模型開發(fā)了一個(gè)全新可重復(fù)使用的組件DuHL，專為二元差距的異質(zhì)學(xué)習(xí)之用。

　　IBM表示，他們的下一個(gè)目標(biāo)是在云端上提供DuHL，因?yàn)槟壳霸贫薌PU服務(wù)的計(jì)費(fèi)單位是小時(shí)，如果訓(xùn)練模型的時(shí)間從十小時(shí)縮短為一小時(shí)，那成本節(jié)省將非常驚人。

　　(上圖)圖中顯示了三種算法所需的時(shí)間，包含DuHL在大規(guī)模的支持向量機(jī)的表現(xiàn)，所使用的數(shù)據(jù)集都為30GB的ImageNet數(shù)據(jù)庫，硬件為內(nèi)存8GB的NVIDIA Quadro M4000 GPU， 圖中可以發(fā)現(xiàn)GPU序列批次的效率，甚至比單純CPU的方法還要糟，而DuHL的速度為其他兩種方法的10倍以上。