Xilinx用reVISION向視覺(jué)學(xué)習(xí)亮劍

   在人工智能、機(jī)器學(xué)習(xí)興起的今天，All Programmable技術(shù)和器件廠商Xilinx也帶來(lái)了爆品，發(fā)布了全新的reVISION堆棧，劍指視覺(jué)導(dǎo)向的機(jī)器學(xué)習(xí)應(yīng)用。該解決方案無(wú)需額外花費(fèi)，搭載Xilinx的Zynq和處理器平臺(tái)即可加速設(shè)計(jì)。可以看到，通過(guò)“芯片+軟件堆?！?/span>的策略，Xilinx把競(jìng)爭(zhēng)矛頭直指圖形芯片廠商——英偉達(dá)的Tegra GPU和ADAS廠商Mobileye等。

三問(wèn)reVISION

   筆者十分感興趣，reVISION堆棧功能強(qiáng)大，所定位的視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)市場(chǎng)也看上去很有潛力，但是客戶是否會(huì)先用Xilinx芯片，如果大批量采用時(shí)，客戶會(huì)不會(huì)在此基礎(chǔ)上自己設(shè)計(jì)ASIC芯片？Xilinx戰(zhàn)略與營(yíng)銷高級(jí)副總裁Steve Glaser稱，不必有此顧慮。不錯(cuò)，現(xiàn)在確實(shí)是有幾家初創(chuàng)企業(yè)在開(kāi)發(fā)專門的只是用于機(jī)器學(xué)習(xí)的芯片，但是挑戰(zhàn)是客戶不僅僅要集成機(jī)器學(xué)習(xí)，還有計(jì)算機(jī)視覺(jué)、傳感器融合等。所以，Xilinx并不認(rèn)為會(huì)有其他人要或者可以自己開(kāi)發(fā)這么一整套獨(dú)特的性能組合，因?yàn)檫@個(gè)可能要花費(fèi)幾億美元才能推出第一片芯片，而且從各種規(guī)格的確定/落實(shí)到第一個(gè)樣片誕生可能需要長(zhǎng)達(dá)三年以上的時(shí)間。此外在這三年過(guò)程中還會(huì)有一個(gè)挑戰(zhàn)：那就是神經(jīng)網(wǎng)絡(luò)、算法和傳感器都在不斷演化，客戶辛辛苦苦投入這么多打造出來(lái)一個(gè)硬件的時(shí)候，可能已經(jīng)無(wú)法滿足新技術(shù)的應(yīng)用要求了。Steve 表示，唯一看到一個(gè)最終用戶的設(shè)計(jì)，就是ASIC解決方案在云方面的應(yīng)用，那就是谷歌的TPU，是非常專門的機(jī)器學(xué)習(xí)推斷的應(yīng)用。但是即使是谷歌，也很難趕上變化的速度，因?yàn)樗且粋€(gè)固定的硬件。

   ADAS是自動(dòng)駕駛的階段之一。在ADAS方面，Xilinx最大的競(jìng)爭(zhēng)對(duì)手是Mobileye，“最近我們已經(jīng)在這方面戰(zhàn)勝它了。”Steve分析道，Mobileye提供一種“交鑰匙”的解決方案，采用的方法是類似的軟件算法再加上芯片。“我們從客戶那里也了解到，如果客戶使用的是Mobileye，就無(wú)法實(shí)現(xiàn)差異化。但是如果是用賽靈思技術(shù)，他們就能夠?qū)崿F(xiàn)巨大的差異化的解決方案。所以，現(xiàn)在市場(chǎng)上排名前25%的企業(yè)，都是以差異化占據(jù)鰲頭的企業(yè)，而他們使用的都是Xilinx的產(chǎn)品。雖然Mobileye的市場(chǎng)份額有50%~ 60%，但是這些企業(yè)都不屬于追求差異化設(shè)計(jì)的企業(yè)。”

Xilinx的SoC里含有FPGA，通常FPGA較貴，是嗎？

   實(shí)際上，ZynqSoC是一個(gè)高度集成的解決方案。現(xiàn)在已經(jīng)實(shí)現(xiàn)了更低的定價(jià)，而且推出了更低端的單核產(chǎn)品；同時(shí)也推出了高端的4核、7核異構(gòu)芯片，所以價(jià)格有從10美元直到幾十美元的組合?？梢?jiàn)，在量方面，Xilinx已經(jīng)建立了一個(gè)非常強(qiáng)大的成本優(yōu)化的產(chǎn)品組合，能夠提供非常好的量化的性價(jià)比。當(dāng)然，也不會(huì)達(dá)到消費(fèi)級(jí)（例如上千萬(wàn)、億級(jí)）的這么高的量。

reVIOSN如何滿足機(jī)器學(xué)習(xí)？

   具體地，分析一下機(jī)器學(xué)習(xí)，如圖1?？v軸是行業(yè)應(yīng)用，是電子領(lǐng)域高度成長(zhǎng)性的應(yīng)用；橫軸是應(yīng)用的端，看是否靠近云。有些應(yīng)用是三者兼顧，既在終端又在云。

圖1 機(jī)器學(xué)習(xí)領(lǐng)域

   4個(gè)月前（2016年11月），Xilinx曾推出了可重配置加速堆棧，面向最右側(cè)的云應(yīng)用。此次是reVISION堆棧，主要針對(duì)左側(cè)應(yīng)用。

當(dāng)前客戶有從左向右轉(zhuǎn)型的需求：不僅是左邊的簡(jiǎn)單的傳感器，還有右側(cè)的機(jī)器學(xué)習(xí)的需求。例如，左邊的應(yīng)用都是非常簡(jiǎn)單的傳感器的配置，通常是各種各樣的攝像頭，然后加上核心的技術(shù)——計(jì)算機(jī)視覺(jué)處理技術(shù)來(lái)識(shí)別整個(gè)框架環(huán)境中的物體。但是現(xiàn)在慢慢轉(zhuǎn)向右邊的應(yīng)用轉(zhuǎn)變，右邊的應(yīng)用會(huì)越來(lái)越使用各種不同類型的傳感器技術(shù)，然后再加上圖像傳感器，還要和機(jī)器學(xué)習(xí)實(shí)現(xiàn)智能的融合。比如說(shuō)，我們過(guò)去是在工廠里有機(jī)器，右側(cè)使用各種傳感器，還要進(jìn)行計(jì)算和融合。我們過(guò)去工廠里的機(jī)器人是在籠子里來(lái)完成它們的工作，但是現(xiàn)在已經(jīng)有了新一代的協(xié)作機(jī)器人，它們與人肩并肩工作，而且它們是可以移動(dòng)的。同樣，在ADAS里包含有前視汽車攝像頭，但是現(xiàn)在為了要支持自動(dòng)駕駛汽車的發(fā)展，攝像頭也是多種多樣，會(huì)有不同的傳感器，比如長(zhǎng)程和短程的雷達(dá)、激光雷達(dá)、超聲波技術(shù)等各式各樣不同類型的傳感器。而且還有機(jī)器學(xué)習(xí)的融合，使得這些車輛在行駛時(shí)能夠做出自己的決策。

   從嵌入式視覺(jué)到自主系統(tǒng)，主要有三個(gè)應(yīng)用的使命／要求。1.希望智能性及系統(tǒng)及時(shí)響應(yīng)，例如行人在車前快速通過(guò)。2.希望升級(jí)到最新的算法和傳感器的靈活性，因?yàn)?/span>神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的算法都在改變，而且傳感器的類型和組合也在變化，客戶希望能立即升級(jí)。3.萬(wàn)物互聯(lián)，需要隨時(shí)與其他機(jī)器和云保持連接。

   Xilinx的SoC處理器和reVISION堆棧等能夠滿足以上三個(gè)方面的需求。

   目前，已有幾百家客戶正在用Xilinx的芯片在開(kāi)發(fā)自主系統(tǒng)，他們擁有很強(qiáng)的硬件知識(shí)，也投入了很多精力和時(shí)間，但reVISION最重要的優(yōu)勢(shì)是可取消采用芯片的障礙，使沒(méi)有硬件專業(yè)知識(shí)的用戶也可以來(lái)應(yīng)用，因此可支持圖1左邊及一些混合芯片。

因此，reVISION堆棧(圖1左側(cè)和中部)和可重配置加速堆棧（圖1右側(cè)和中部），再加上此前使用Xilinx器件做安全控制系統(tǒng)等部分（圖1左側(cè)）?，F(xiàn)在Xilinx已經(jīng)能夠支持機(jī)器學(xué)習(xí)中從端到云絕大多數(shù)的應(yīng)用。

reVISION可完成80%的設(shè)計(jì)工作

   reVISION堆棧與傳統(tǒng)開(kāi)發(fā)方法的比較如圖2?？v軸是開(kāi)發(fā)時(shí)間，橫軸是開(kāi)發(fā)方法。過(guò)去RTL使設(shè)計(jì)大大加速。大約在六年以前，Xilinx推出了新的提高效率的工具——基于RTL的硬件設(shè)計(jì)的工作流程，使得整個(gè)過(guò)程能夠大大加速。現(xiàn)在已經(jīng)有幾百家客戶在使用這樣的工作流程來(lái)處理計(jì)算機(jī)視覺(jué)。據(jù)Xilinx所知，其中有40多家企業(yè)已經(jīng)在用Xilinx的器件進(jìn)行機(jī)器學(xué)習(xí)方面的開(kāi)發(fā)。

圖2 Xilinx機(jī)器學(xué)習(xí)相關(guān)的開(kāi)發(fā)工具演進(jìn)

   不過(guò)采用這樣的方法，開(kāi)發(fā)所投入和精力還是相對(duì)比較大的，但是這種付出還是使他們獲得了很大的優(yōu)勢(shì)。為了提升效率，大約在一年半之前，Xilinx推出了首個(gè)軟件定義的編程環(huán)境——SDSoC，基于Xilinx的Zynq SoC芯片，主要是嵌入式的應(yīng)用?，F(xiàn)在Xilinx已經(jīng)有1100多名付費(fèi)的用戶，他們支付相關(guān)的許可費(fèi)，其中有半數(shù)都是專注于視覺(jué)方面的應(yīng)用。

   但是，這雖然提高了效率，還沒(méi)有達(dá)到Xilinx或者客戶所希望的目標(biāo)，客戶希望能夠有符合行業(yè)標(biāo)準(zhǔn)的庫(kù)和框架，幫助客戶繼續(xù)壓縮開(kāi)發(fā)時(shí)間。所以，此次推出的reVISION堆棧，可以使開(kāi)發(fā)時(shí)間可以大大縮短。

   所以過(guò)去Xilinx提供芯片及20%的開(kāi)發(fā)工作，但現(xiàn)在可以完成80%工作。

低時(shí)延優(yōu)勢(shì)

   根據(jù)英偉達(dá) TX1的公開(kāi)資料，Xilinx測(cè)算其reVISION方案在計(jì)算機(jī)視覺(jué)領(lǐng)域的優(yōu)勢(shì)達(dá)40倍以上，時(shí)延只有1/5。為什么低時(shí)延能夠?qū)崿F(xiàn)快速響應(yīng)的系統(tǒng)非常的重要？假設(shè)一輛小轎車跟在一輛小貨車后面，這個(gè)小貨車突然進(jìn)行緊急停車。后面的小轎車的時(shí)速是65英里，英偉達(dá)TX1方案的響應(yīng)時(shí)間是49~320ms，而reVISION只有2.7ms！

   為何Xilinx能實(shí)現(xiàn)響應(yīng)速度很快？典型的嵌入式GPU和典型的SoC比較中可見(jiàn)（圖3），在這樣的情景之下，傳感器的數(shù)據(jù)需要外部存儲(chǔ)，之后在處理的步驟中，也需要不斷地去訪問(wèn)外部存儲(chǔ)。如果是Xilinx的Zynq器件，客戶能夠簡(jiǎn)化獲得直接的數(shù)據(jù)流（圖4右），直接經(jīng)過(guò)傳感器、傳感器的處理，還有機(jī)器學(xué)習(xí)，一直到控制。這就會(huì)對(duì)響應(yīng)的時(shí)間造成很大的影響，除此以外，還會(huì)影響到可預(yù)見(jiàn)性，也就是客戶所說(shuō)的決定性，他們希望整個(gè)過(guò)程是可以預(yù)見(jiàn)的，可以確定的，并且響應(yīng)速度要很快。所以Xilinx能夠提供非?？焖俚臎Q定性的響應(yīng)，而Xilinx的同類競(jìng)爭(zhēng)產(chǎn)品的相應(yīng)速度要慢很多，而且是不可預(yù)見(jiàn)的。

圖3 Xilinx的Zynq在時(shí)延方面與GPU等的比較

可配置性

   reVISION的另一項(xiàng)非常獨(dú)特的功能，就是硬件和軟件的可重配置性和可編程性：既支持硬件，也支持軟件的可重配置和可以編程。對(duì)于下一代的機(jī)器學(xué)習(xí)來(lái)說(shuō)，這種可重配置性至關(guān)重要。

   機(jī)器學(xué)習(xí)盡管在1958年就出現(xiàn)了，但過(guò)去兩年里機(jī)器學(xué)習(xí)所取得的進(jìn)步等于之前45年取得的所有成果之和——不僅出現(xiàn)了新的神經(jīng)網(wǎng)絡(luò)和算法，而且對(duì)于這些嵌入系統(tǒng)更加有效的實(shí)施也有了新的方案。

   例如，在一些實(shí)施方案當(dāng)中，之前最先進(jìn)的是浮點(diǎn)方案，這個(gè)方案對(duì)訓(xùn)練來(lái)說(shuō)是非常合適的，但是在推斷方面，因?yàn)橥茢嘁艿匠杀竞凸臉O大的限制，浮點(diǎn)就不那么合適。所以這種實(shí)施方案也在不斷的演進(jìn)，從8位下降到4位，甚至最后到1位，所有的一切都是在一個(gè)神經(jīng)網(wǎng)絡(luò)里進(jìn)行，只不過(guò)這個(gè)神經(jīng)網(wǎng)絡(luò)分成不同的層次，每個(gè)層次對(duì)應(yīng)不同的精度。所以，可重配置性是非常關(guān)鍵的，只有具有可重配置性，才能夠持續(xù)的升級(jí)到最新最好的機(jī)器學(xué)習(xí)的技術(shù)。但是可重配置性對(duì)于升級(jí)到新的傳感器技術(shù)，并且支持不同的傳感器配置也很重要。

滿足傳感器融合需要

   另外，傳感器類型和配置出現(xiàn)了爆炸，業(yè)界稱之為傳感器融合。此外，人工智能和機(jī)器學(xué)習(xí)的不斷擴(kuò)展驅(qū)動(dòng)了這種傳感器融合的趨勢(shì)，所以也需要可重配置性來(lái)跟上這些變化的步伐。

   總之，reVISION消除了向廣泛視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用擴(kuò)展的障礙，擴(kuò)大了機(jī)器學(xué)習(xí)應(yīng)用從端到云的開(kāi)發(fā)和部署。

小結(jié)及感想

   筆者猜想，reVISION是reality vision（真實(shí)視覺(jué)）的合成詞。人工智能包含多個(gè)部分，Xilinx選擇了視覺(jué)導(dǎo)向的機(jī)器學(xué)習(xí)這一分支。然而，僅僅SoC芯片是不夠的，Xilinx在軟實(shí)力方面下了很大功夫——包括此次推出的reVISION堆棧，以及此前的可重配置加速堆棧等，使其方案覆蓋了整個(gè)物聯(lián)網(wǎng)的視覺(jué)學(xué)習(xí)領(lǐng)域（圖1）。

   可見(jiàn)，Xilinx不僅在芯片設(shè)計(jì)和先進(jìn)制程工藝方面走在前列，也十分重視軟件的作用（注：筆者猜想這與現(xiàn)任CEO及部分核心領(lǐng)導(dǎo)團(tuán)隊(duì)成員來(lái)自EDA軟件公司Cadence有關(guān)）。幾年前，該公司的一位資深VP曾透露其軟件人員數(shù)量已經(jīng)超過(guò)了硬件人員，應(yīng)該說(shuō)，那時(shí)Xilinx已經(jīng)是名副其實(shí)的軟件公司了。但是Xilinx也意識(shí)到軟件需要在硬件的基石上實(shí)現(xiàn)，因此今天看，Xilinx強(qiáng)大的軟件商業(yè)策略是其芯片向視覺(jué)學(xué)習(xí)領(lǐng)域發(fā)展的強(qiáng)大推進(jìn)器。

   不是嗎？ARM SoC引擎有一大波，可謂宿將與新生代云集，各有各的背景和高招。作為從FPGA跨界進(jìn)入ARM SoC市場(chǎng)的后來(lái)者，如何避免同質(zhì)化，超越競(jìng)爭(zhēng)對(duì)手，確實(shí)需要智慧。依托強(qiáng)大的定向軟件助力，Xilinx這一招走得很妙！