微軟揭曉Brainwave人工智能系統(tǒng)，可實(shí)現(xiàn)超低延遲

　　今日，微軟在 HotChips 大會(huì)上正式揭曉了 Brainwave 系統(tǒng)，該產(chǎn)品是微軟加入人工智能硬件競賽的首發(fā)產(chǎn)品。微軟表示這款高速度、低延遲的 AI 專用芯片系統(tǒng)可以為機(jī)器學(xué)習(xí)開發(fā)者們提供超越 GPU 的性能。

　　微軟的研究人員現(xiàn)場展示了 Brainwave 的威力：在使用英特爾最新的 Stratix 10 FPGA(現(xiàn)場可編程門陣列)芯片的情況下，Brainwave 運(yùn)行 Gated Recurrent Unit(LSTM的變種)的浮點(diǎn)運(yùn)算速度可高達(dá) 39.5 TFLOPS，并且不需要任何批量處理，即芯片可以即時(shí)處理每一項(xiàng)提交上去的請(qǐng)求，為機(jī)器學(xué)習(xí)系統(tǒng)提供實(shí)時(shí)的見解。

　　對(duì)于用戶來說，低延遲是大規(guī)模部署機(jī)器學(xué)習(xí)系統(tǒng)時(shí)必須滿足的一個(gè)要求，因?yàn)樗麄儾粫?huì)有太多耐心等待 APP 反應(yīng)。

　　“我們需要‘即時(shí)AI’，因?yàn)槟阍谔峤徽?qǐng)求后，會(huì)想立刻獲得反饋，不論是視頻播放、對(duì)話，還是檢測網(wǎng)絡(luò)入侵者和異常狀況，你會(huì)期望 APP 都能即時(shí)反饋”，微軟研究所的工程師 Doug Burger 說。

　　然而，之前的硬件加速機(jī)器學(xué)習(xí)系統(tǒng)相關(guān)的研究卻注重于犧牲延遲來實(shí)現(xiàn)高流量。Burger 認(rèn)為，需要思考的是，在不對(duì)請(qǐng)求進(jìn)行批量處理時(shí)，機(jī)器學(xué)習(xí)加速器的反應(yīng)速度。“其他人給出的數(shù)字都注水了。”

　　由于 FPGA 屬于可編程芯片，它可以讓開發(fā)者專門為各種功能對(duì)硬件進(jìn)行優(yōu)化設(shè)置，比如設(shè)置出可以快速處理神經(jīng)網(wǎng)絡(luò)所需的數(shù)學(xué)計(jì)算的硬件。微軟已在其數(shù)據(jù)中心安裝了數(shù)十萬枚 FPGA。而這些 FPGA 已經(jīng)開始使用 Brainwave，讓微軟的各種服務(wù)可以更迅速地支持人工智能功能。此外，微軟還將通過旗下 Azure 云服務(wù)，向第三方客戶提供 Brainwave。

　　在這些 FPGA 上，Brainwave 會(huì)提前設(shè)置好一個(gè)經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型。之后，它們就可以被用來做識(shí)別文字、辨別圖像等機(jī)器學(xué)習(xí)任務(wù)了。對(duì)于一個(gè)較大的文件，Brainwave 的軟件可以將它分拆到多個(gè)芯片上進(jìn)行計(jì)算。而這個(gè)模型將永存與這些 FPGA 上，直到微軟選擇對(duì)其進(jìn)行升級(jí)。

　　微軟并不是唯一一家投資于加速機(jī)器學(xué)習(xí)硬件的公司。今年年初，谷歌就曾揭曉其機(jī)器學(xué)習(xí)訓(xùn)練和運(yùn)行的專用芯片——TPU(Tensor Processing Unit)的第二個(gè)版本。此外，還有多家初創(chuàng)公司正在開發(fā)機(jī)器學(xué)習(xí)加速硬件。

　　然而，各方各界對(duì)于機(jī)器學(xué)習(xí)加速硬件的看法卻并不一樣。有些人認(rèn)為，F(xiàn)PGA比專門為機(jī)器學(xué)習(xí)而設(shè)計(jì)的 ASIC(專用集成電路)效率更低，速度更慢。Burger 表示，他們?cè)?FPGA 上所展現(xiàn)的性能足以反駁這一說法，讓人們見識(shí)到FPGA 也可以提供高性能。

　　而且，今天微軟的展示的 Stratix 10 是一款全新芯片，還有與英特爾合作優(yōu)化的空間。據(jù)Burger計(jì)算，使用 Stratix 10 的 Brainwave 的運(yùn)算速度最高應(yīng)該可以實(shí)現(xiàn) 90 TFLOPS。

　　目前，Brainwave 只支持在微軟 CNTK 框架和谷歌 TensorFlow 框架下的模型。其團(tuán)隊(duì)正開發(fā)兼容 Caffe 等其他框架的 Brainwave 版本。微軟表示，未來，第三方客戶將可以在 Brainwave 上運(yùn)行任何模型，不過并未給出 Brainwave 全面上市的時(shí)間表。