Xilinx用reVISION向視覺學習亮劍

   在人工智能、機器學習興起的今天，All Programmable技術和器件廠商Xilinx也帶來了爆品，發(fā)布了全新的reVISION堆棧，劍指視覺導向的機器學習應用。該解決方案無需額外花費，搭載Xilinx的Zynq和處理器平臺即可加速設計。可以看到，通過“芯片+軟件堆?！?/span>的策略，Xilinx把競爭矛頭直指圖形芯片廠商——英偉達的Tegra GPU和ADAS廠商Mobileye等。

三問reVISION

   筆者十分感興趣，reVISION堆棧功能強大，所定位的視覺導向機器學習市場也看上去很有潛力，但是客戶是否會先用Xilinx芯片，如果大批量采用時，客戶會不會在此基礎上自己設計ASIC芯片？Xilinx戰(zhàn)略與營銷高級副總裁Steve Glaser稱，不必有此顧慮。不錯，現(xiàn)在確實是有幾家初創(chuàng)企業(yè)在開發(fā)專門的只是用于機器學習的芯片，但是挑戰(zhàn)是客戶不僅僅要集成機器學習，還有計算機視覺、傳感器融合等。所以，Xilinx并不認為會有其他人要或者可以自己開發(fā)這么一整套獨特的性能組合，因為這個可能要花費幾億美元才能推出第一片芯片，而且從各種規(guī)格的確定/落實到第一個樣片誕生可能需要長達三年以上的時間。此外在這三年過程中還會有一個挑戰(zhàn)：那就是神經網絡、算法和傳感器都在不斷演化，客戶辛辛苦苦投入這么多打造出來一個硬件的時候，可能已經無法滿足新技術的應用要求了。Steve 表示，唯一看到一個最終用戶的設計，就是ASIC解決方案在云方面的應用，那就是谷歌的TPU，是非常專門的機器學習推斷的應用。但是即使是谷歌，也很難趕上變化的速度，因為它是一個固定的硬件。

   ADAS是自動駕駛的階段之一。在ADAS方面，Xilinx最大的競爭對手是Mobileye，“最近我們已經在這方面戰(zhàn)勝它了。”Steve分析道，Mobileye提供一種“交鑰匙”的解決方案，采用的方法是類似的軟件算法再加上芯片。“我們從客戶那里也了解到，如果客戶使用的是Mobileye，就無法實現(xiàn)差異化。但是如果是用賽靈思技術，他們就能夠實現(xiàn)巨大的差異化的解決方案。所以，現(xiàn)在市場上排名前25%的企業(yè)，都是以差異化占據(jù)鰲頭的企業(yè)，而他們使用的都是Xilinx的產品。雖然Mobileye的市場份額有50%~ 60%，但是這些企業(yè)都不屬于追求差異化設計的企業(yè)。”

Xilinx的SoC里含有FPGA，通常FPGA較貴，是嗎？

   實際上，ZynqSoC是一個高度集成的解決方案。現(xiàn)在已經實現(xiàn)了更低的定價，而且推出了更低端的單核產品；同時也推出了高端的4核、7核異構芯片，所以價格有從10美元直到幾十美元的組合?？梢姡?/span>在量方面，Xilinx已經建立了一個非常強大的成本優(yōu)化的產品組合，能夠提供非常好的量化的性價比。當然，也不會達到消費級（例如上千萬、億級）的這么高的量。

reVIOSN如何滿足機器學習？

   具體地，分析一下機器學習，如圖1?？v軸是行業(yè)應用，是電子領域高度成長性的應用；橫軸是應用的端，看是否靠近云。有些應用是三者兼顧，既在終端又在云。

圖1 機器學習領域

   4個月前（2016年11月），Xilinx曾推出了可重配置加速堆棧，面向最右側的云應用。此次是reVISION堆棧，主要針對左側應用。

當前客戶有從左向右轉型的需求：不僅是左邊的簡單的傳感器，還有右側的機器學習的需求。例如，左邊的應用都是非常簡單的傳感器的配置，通常是各種各樣的攝像頭，然后加上核心的技術——計算機視覺處理技術來識別整個框架環(huán)境中的物體。但是現(xiàn)在慢慢轉向右邊的應用轉變，右邊的應用會越來越使用各種不同類型的傳感器技術，然后再加上圖像傳感器，還要和機器學習實現(xiàn)智能的融合。比如說，我們過去是在工廠里有機器，右側使用各種傳感器，還要進行計算和融合。我們過去工廠里的機器人是在籠子里來完成它們的工作，但是現(xiàn)在已經有了新一代的協(xié)作機器人，它們與人肩并肩工作，而且它們是可以移動的。同樣，在ADAS里包含有前視汽車攝像頭，但是現(xiàn)在為了要支持自動駕駛汽車的發(fā)展，攝像頭也是多種多樣，會有不同的傳感器，比如長程和短程的雷達、激光雷達、超聲波技術等各式各樣不同類型的傳感器。而且還有機器學習的融合，使得這些車輛在行駛時能夠做出自己的決策。

   從嵌入式視覺到自主系統(tǒng)，主要有三個應用的使命／要求。1.希望智能性及系統(tǒng)及時響應，例如行人在車前快速通過。2.希望升級到最新的算法和傳感器的靈活性，因為神經網絡和深度學習的算法都在改變，而且傳感器的類型和組合也在變化，客戶希望能立即升級。3.萬物互聯(lián)，需要隨時與其他機器和云保持連接。

   Xilinx的SoC處理器和reVISION堆棧等能夠滿足以上三個方面的需求。

   目前，已有幾百家客戶正在用Xilinx的芯片在開發(fā)自主系統(tǒng)，他們擁有很強的硬件知識，也投入了很多精力和時間，但reVISION最重要的優(yōu)勢是可取消采用芯片的障礙，使沒有硬件專業(yè)知識的用戶也可以來應用，因此可支持圖1左邊及一些混合芯片。

因此，reVISION堆棧(圖1左側和中部)和可重配置加速堆棧（圖1右側和中部），再加上此前使用Xilinx器件做安全控制系統(tǒng)等部分（圖1左側）?，F(xiàn)在Xilinx已經能夠支持機器學習中從端到云絕大多數(shù)的應用。

reVISION可完成80%的設計工作

   reVISION堆棧與傳統(tǒng)開發(fā)方法的比較如圖2?？v軸是開發(fā)時間，橫軸是開發(fā)方法。過去RTL使設計大大加速。大約在六年以前，Xilinx推出了新的提高效率的工具——基于RTL的硬件設計的工作流程，使得整個過程能夠大大加速?，F(xiàn)在已經有幾百家客戶在使用這樣的工作流程來處理計算機視覺。據(jù)Xilinx所知，其中有40多家企業(yè)已經在用Xilinx的器件進行機器學習方面的開發(fā)。

圖2 Xilinx機器學習相關的開發(fā)工具演進

   不過采用這樣的方法，開發(fā)所投入和精力還是相對比較大的，但是這種付出還是使他們獲得了很大的優(yōu)勢。為了提升效率，大約在一年半之前，Xilinx推出了首個軟件定義的編程環(huán)境——SDSoC，基于Xilinx的Zynq SoC芯片，主要是嵌入式的應用?，F(xiàn)在Xilinx已經有1100多名付費的用戶，他們支付相關的許可費，其中有半數(shù)都是專注于視覺方面的應用。

   但是，這雖然提高了效率，還沒有達到Xilinx或者客戶所希望的目標，客戶希望能夠有符合行業(yè)標準的庫和框架，幫助客戶繼續(xù)壓縮開發(fā)時間。所以，此次推出的reVISION堆棧，可以使開發(fā)時間可以大大縮短。

   所以過去Xilinx提供芯片及20%的開發(fā)工作，但現(xiàn)在可以完成80%工作。

低時延優(yōu)勢

   根據(jù)英偉達 TX1的公開資料，Xilinx測算其reVISION方案在計算機視覺領域的優(yōu)勢達40倍以上，時延只有1/5。為什么低時延能夠實現(xiàn)快速響應的系統(tǒng)非常的重要？假設一輛小轎車跟在一輛小貨車后面，這個小貨車突然進行緊急停車。后面的小轎車的時速是65英里，英偉達TX1方案的響應時間是49~320ms，而reVISION只有2.7ms！

   為何Xilinx能實現(xiàn)響應速度很快？典型的嵌入式GPU和典型的SoC比較中可見（圖3），在這樣的情景之下，傳感器的數(shù)據(jù)需要外部存儲，之后在處理的步驟中，也需要不斷地去訪問外部存儲。如果是Xilinx的Zynq器件，客戶能夠簡化獲得直接的數(shù)據(jù)流（圖4右），直接經過傳感器、傳感器的處理，還有機器學習，一直到控制。這就會對響應的時間造成很大的影響，除此以外，還會影響到可預見性，也就是客戶所說的決定性，他們希望整個過程是可以預見的，可以確定的，并且響應速度要很快。所以Xilinx能夠提供非常快速的決定性的響應，而Xilinx的同類競爭產品的相應速度要慢很多，而且是不可預見的。

圖3 Xilinx的Zynq在時延方面與GPU等的比較

可配置性

   reVISION的另一項非常獨特的功能，就是硬件和軟件的可重配置性和可編程性：既支持硬件，也支持軟件的可重配置和可以編程。對于下一代的機器學習來說，這種可重配置性至關重要。

   機器學習盡管在1958年就出現(xiàn)了，但過去兩年里機器學習所取得的進步等于之前45年取得的所有成果之和——不僅出現(xiàn)了新的神經網絡和算法，而且對于這些嵌入系統(tǒng)更加有效的實施也有了新的方案。

   例如，在一些實施方案當中，之前最先進的是浮點方案，這個方案對訓練來說是非常合適的，但是在推斷方面，因為推斷要受到成本和功耗極大的限制，浮點就不那么合適。所以這種實施方案也在不斷的演進，從8位下降到4位，甚至最后到1位，所有的一切都是在一個神經網絡里進行，只不過這個神經網絡分成不同的層次，每個層次對應不同的精度。所以，可重配置性是非常關鍵的，只有具有可重配置性，才能夠持續(xù)的升級到最新最好的機器學習的技術。但是可重配置性對于升級到新的傳感器技術，并且支持不同的傳感器配置也很重要。

滿足傳感器融合需要

   另外，傳感器類型和配置出現(xiàn)了爆炸，業(yè)界稱之為傳感器融合。此外，人工智能和機器學習的不斷擴展驅動了這種傳感器融合的趨勢，所以也需要可重配置性來跟上這些變化的步伐。

   總之，reVISION消除了向廣泛視覺導向機器學習應用擴展的障礙，擴大了機器學習應用從端到云的開發(fā)和部署。

小結及感想

   筆者猜想，reVISION是reality vision（真實視覺）的合成詞。人工智能包含多個部分，Xilinx選擇了視覺導向的機器學習這一分支。然而，僅僅SoC芯片是不夠的，Xilinx在軟實力方面下了很大功夫——包括此次推出的reVISION堆棧，以及此前的可重配置加速堆棧等，使其方案覆蓋了整個物聯(lián)網的視覺學習領域（圖1）。

   可見，Xilinx不僅在芯片設計和先進制程工藝方面走在前列，也十分重視軟件的作用（注：筆者猜想這與現(xiàn)任CEO及部分核心領導團隊成員來自EDA軟件公司Cadence有關）。幾年前，該公司的一位資深VP曾透露其軟件人員數(shù)量已經超過了硬件人員，應該說，那時Xilinx已經是名副其實的軟件公司了。但是Xilinx也意識到軟件需要在硬件的基石上實現(xiàn)，因此今天看，Xilinx強大的軟件商業(yè)策略是其芯片向視覺學習領域發(fā)展的強大推進器。

   不是嗎？ARM SoC引擎有一大波，可謂宿將與新生代云集，各有各的背景和高招。作為從FPGA跨界進入ARM SoC市場的后來者，如何避免同質化，超越競爭對手，確實需要智慧。依托強大的定向軟件助力，Xilinx這一招走得很妙！