IBM新概念芯片可將AI訓(xùn)練速度提高30000倍
IBM的幾位研究人員近日公布了一份論文,論文闡述了一種所謂的電阻式處理單元(ResistiveProcessingUnit,RPU)的新型芯片概念,據(jù)稱與傳統(tǒng)CPU相比,這種芯片可以將深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度提高至原來(lái)的30000倍。
本文引用地址:http://butianyuan.cn/article/201603/289079.htm深度神經(jīng)網(wǎng)絡(luò)(DNN)是一種有多隱層的人工神經(jīng)網(wǎng)絡(luò),這種神經(jīng)網(wǎng)絡(luò)即可進(jìn)行有監(jiān)督訓(xùn)練,也可進(jìn)行無(wú)監(jiān)督訓(xùn)練,結(jié)果出來(lái)的就是能夠自行“學(xué)習(xí)”的機(jī)器學(xué)習(xí)(或者叫人工智能),也即所謂的深度學(xué)習(xí)。
前不久Google(Alphabet)DeepMind在人機(jī)大戰(zhàn)中擊敗李世石的AI圍棋程序AlphaGo就采用了類似算法。AlphaGo由一個(gè)搜索樹(shù)算法和兩個(gè)有數(shù)百萬(wàn)類神經(jīng)元連接的多層深度神經(jīng)網(wǎng)絡(luò)組成。其中一個(gè)網(wǎng)絡(luò)叫做“策略網(wǎng)絡(luò)”,用于計(jì)算走哪一步的勝率最高,另一個(gè)網(wǎng)絡(luò)叫做“價(jià)值網(wǎng)絡(luò)”,用于告訴AlphaGo怎么移動(dòng)對(duì)白子和黑子都更好,這樣就可以降低可能性的深度。
由于前景看好,許多機(jī)器學(xué)習(xí)研究人員都已經(jīng)把焦點(diǎn)集中到深度神經(jīng)網(wǎng)絡(luò)上面。但是,為了達(dá)到一定程度的智能,這些網(wǎng)絡(luò)需要非常多的計(jì)算芯片,比如AlphaGo使用的計(jì)算芯片數(shù)量就達(dá)到了幾千個(gè)。所以這是一項(xiàng)很耗計(jì)算資源、同時(shí)也很燒錢的任務(wù)。不過(guò)現(xiàn)在IBM的研究人員提出了一種新的芯片概念,其強(qiáng)大的計(jì)算能力可以一個(gè)就頂傳統(tǒng)芯片的幾千,而如果將成千上萬(wàn)個(gè)這種芯片組合起來(lái)的話,未來(lái)AI的能力也許就會(huì)出現(xiàn)更多的突破。
這種名為RPU的芯片主要利用了深度學(xué)習(xí)等算法的兩個(gè)特點(diǎn):本地性以及并行性。為此ROU借助了下一代非易失性內(nèi)存(NVM)技術(shù)的概念,把算法用到的權(quán)重值存儲(chǔ)在本地,從而把訓(xùn)練過(guò)程中的數(shù)據(jù)移動(dòng)最小化。研究人員稱,如果把這種RPU大規(guī)模應(yīng)用到有10億多個(gè)權(quán)重的深度神經(jīng)網(wǎng)絡(luò),則訓(xùn)練速度最高可以加速30000倍,也就是說(shuō)平時(shí)需要幾千臺(tái)機(jī)器訓(xùn)練幾天才能出的結(jié)果用這種芯片幾個(gè)小時(shí)就可以搞定,而且能效還要低得多。
當(dāng)然,論文只是提出了一種概念,這種芯片目前還處在研究階段,同時(shí)鑒于普通非易失性內(nèi)存尚未進(jìn)入主流市場(chǎng),所以這樣的芯片上市估計(jì)還需要幾年的時(shí)間。不過(guò)如果這種芯片的確有那么大的計(jì)算和能效優(yōu)勢(shì)的話,相信Google、Facebook等從事AI研究和應(yīng)用的巨頭一定會(huì)關(guān)注的,而IBM本身也是AI、大數(shù)據(jù)的積極參與者之一,東西要是做出來(lái)市場(chǎng)是應(yīng)該不用發(fā)愁的。
評(píng)論