OpenVINO? 發(fā)布三年半來最大升級！全新版本已開放下載

冬奧落幕，競技魅力仍霸屏，

14年過去，我們不再向世界解釋“我是誰”！

每次回想，Nono仍感到心潮澎湃

感慨之余，相信細心的小伙伴已經(jīng)發(fā)現(xiàn)，

在欣賞這場精彩絕倫的冰雪盛會之際，

OpenVINO也推出了全新版本，

進一步賦能開發(fā)者一起向未來，

這也是OpenVINO最近三年半以來的最大升級！

是虛張聲勢還是全新升級？

這就讓小Nono帶大家來看看，

新版本都有哪些驚喜吧！

亮點

全新版本

　　長期以來，OpenVINO始終未曾停止創(chuàng)新的步伐，不斷更新迭代，系統(tǒng)功能也日益強大和豐富。

　　在此次全新升級的版本中，OpenVINO在構(gòu)建階段，通過更方便、簡潔的API獲得了生產(chǎn)效率的提高；在優(yōu)化階段，OpenVINO支持了更廣泛的模型，顯著提高了兼容性；在部署階段，OpenVINO通過自動優(yōu)化部署，實現(xiàn)了性能提升。接下來，讓我們從構(gòu)建、優(yōu)化、部署三個階段，進一步了解OpenVINO的諸多亮點吧！

一、構(gòu)建：更簡潔、方便的API

01更多的預訓練模型

　　簡約不減配，這才是更經(jīng)濟、更高效能的升級。此次全新版本的OpenVINO對框架轉(zhuǎn)換、降低復雜性的同時，還能支持哪些呢？小孩子才做選擇，Nono當然是全都要。

　　新版本包含18個Intel預訓練模型和15 Public預訓練模型，Intel預訓練模型將提供不同精度的IR格式模型，開發(fā)者可以直接通過OpenVINO API進行部署；Public預訓練模型來源于第三方框架訓練得到的模型文件，開發(fā)者可以通過converter.py工具，將模型輕松轉(zhuǎn)化為IR格式表達式，再進行部署。這么豐富的預訓練模型，你心動了嗎？

02更簡化的依賴庫管理

　　眾所周知，系統(tǒng)功能越豐富，需要的依賴庫就越多，當依賴庫發(fā)生改變時，很容易“牽一發(fā)而動全身”，讓系統(tǒng)為之焦灼，擔心殃及池魚。

　　此次全新版本的OpenVINO更進一步減少了OpenVINO依賴庫的數(shù)量，最突出的則是將Inference Engine與nGraph等與runtime相關(guān)的依賴庫全部集成到了OpenVINO Runtime這一個庫中，顯著降低了對不同庫之間的依賴。開發(fā)者可以根據(jù)自己使用的硬件設備，部署環(huán)境與功能需求，有選擇性地挑選合適的動態(tài)庫進行安裝，減輕OpenVINO安裝環(huán)境的容量。

　　簡而言之，依賴庫瘦身成功，不要再經(jīng)常草木皆兵、擔驚受怕了！

03全新的runtime API 2.0

　　再高性能的系統(tǒng)一旦忽略了用戶，也只能是曇花一現(xiàn)。OpenVINO深諳此道，秉持著“用戶友好型系統(tǒng)才能立足未來”的更新理念推出了全新的runtime API 2.0。

　　不同于之前Inference Engine的接口規(guī)范，Intel這次引入了“OpenVINO”的新全局命名空間及相關(guān)頭文件和函數(shù)方法，但整體API調(diào)用方式不變，并且新的runtime API 2.0默認支持原有的Inference Engine接口，Inference Engine的相關(guān)接口功能還將繼續(xù)保留。

　　在新的API 2.0接口中，OpenVINO全新版本也對過程進行了簡化，開發(fā)者可以之間通過新的Tensor API來獲取結(jié)果數(shù)據(jù)。此外，全新的Configuration API引入后，通過get_property接口獲取的設備配置信息將自動獲取數(shù)據(jù)類型，開發(fā)者做進一步解析就更方便了。用戶體驗是不是看起來很棒？連Nono都忍不住想立馬去試試了。

二、優(yōu)化：更廣泛的模型支持

01Model Optimizer參數(shù)簡化

　　“高端的食材往往只需要最簡約的烹飪方式，”O(jiān)penVINO也想向高端看齊，在全新升級時采用了更簡易的更新API。

　　引入全新的IR v11模型表達式版本以后，IR將全面支持動態(tài)input shape，MO工具中將無需指定模型轉(zhuǎn)換后的--input_shape，并根據(jù)模型中的其他layer自動推斷動態(tài)input中的某幾個未定義的維度，提升動態(tài)輸入在runtime階段的執(zhí)行效率。此外，針對類似TensorFlow這樣特定的框架結(jié)構(gòu)，OpenVINO全新版本將簡化額外的轉(zhuǎn)置操作，用戶無需指定--disable_nhwc_to_nchw，MO自動加入額外的layer，確保與原框架Layout和數(shù)據(jù)精度一致。

　　在極簡主義與斷舍離盛行的當下，希望小伙伴們和Nono一樣，在進行相關(guān)操作時更能得心應手哦。

02直接支持PaddlePaddle模型

　　作為國內(nèi)最受歡迎的深度學習框架之一，之前OpenVINO在對Paddle模型做適配的時候,需要將Paddle模型轉(zhuǎn)化為ONNX格式，再通過MO工具對ONNX模型進行優(yōu)化和加速部署，Nono的小伙伴們?nèi)粘Ｍ虏鄄弧⒉?、不方便?/p>

　　目前OpenVINO全新版本已經(jīng)實現(xiàn)對PaddlePaddle模型的直接支持，MO工具可以直接完成對Paddle模型的離線轉(zhuǎn)化，同時runtime api接口也可以直接讀取加載Paddle模型到指定的硬件設備。

　　沒有了ONNX這個“中間商”模型耗步驟，省去了離線轉(zhuǎn)換的過程，大大提升了Paddle開發(fā)者在Intel平臺上部署的效率。經(jīng)過性能和準確性驗證，在OpenVINO?2022.1發(fā)行版中，會有13個模型涵蓋5大應用場景的Paddle模型將被直接支持。并且，其中不乏像PPYolo和PPOCR這樣非常受開發(fā)者歡迎的網(wǎng)絡哦。

三、部署：自動優(yōu)化

01 Preprocessing API

　　為了適配模型對于輸入數(shù)據(jù)的結(jié)構(gòu)要求，我們往往需要利用OpenCV這樣的工具，在CPU上將原始數(shù)據(jù)進行前處理操作后再送入到指定的硬件處理器上中進行模型推理，此時前處理任務不僅會占用一部分的CPU資源，也無法真正發(fā)揮某些硬件加速器對前處理任務性能能上加速，好比手機廠家費盡心機將手機做“薄”，而消費者卻選擇戴上了殼。

　　針對此痛點，Preprocessing API選擇將前處理任務集成到模型執(zhí)行圖中,不依賴于CPU，利用指定的硬件平臺進行輸入數(shù)據(jù)預處理，更充分發(fā)揮類似GPU或VPU這樣協(xié)處理在處理圖像數(shù)據(jù)時的性能優(yōu)勢。Preprocessing API拒絕了CPU，選擇了獨立，小伙伴們怎么看？

02 CPU plugin支持動態(tài)輸入

　　為了適配更廣泛的模型種類，OpenVINO全新版本的CPU Plugin已經(jīng)支持了動態(tài)input shape，讓開發(fā)者以更便捷的方式部署類似NLP或者OCR這樣的網(wǎng)絡。

　　在不支持動態(tài)input shape的情況下，我們往往需要通過Padding,Model reshape或者是Dimension Partitioning對模型或是輸入數(shù)據(jù)進行重構(gòu)，對性能和準確性都有較大影響。

　　雖然通過動態(tài)input shape可以減少相關(guān)影響，但其需要在推理的過程中才能獲取輸入數(shù)據(jù)shape，并對模型進行編譯，所以綜合性能還是不及固定input shape，此時我們建議開發(fā)者通過設置upper-bound的方式，為動態(tài)維度的數(shù)據(jù)設置寬度范圍，以更高效地進行合理的內(nèi)存分配，提升性能表現(xiàn)。

03 Auto Device plugin

　　在國內(nèi)外競技場都能發(fā)揮出杰出的水平，這應該是優(yōu)秀的運動員必備實力，技術(shù)的競技場理應同理，卓越的可移植性對于軟件來說必不可少。

　　在全新版本之前，小伙伴們必須自己手動選擇相應的部署設備，并配置設備中的相關(guān)資源。全新升級后，當開發(fā)者將定義的設備設置為“Auto”后，該接口會搜索系統(tǒng)中所有的算力單元以及其規(guī)格屬性，根據(jù)模型的精度、網(wǎng)絡結(jié)構(gòu)以及用戶指定性能要求等信息，選取并配置合適的算力單元進行部署，降低不同設備平臺間的移植難度與部署難度。

　　除了自動選擇部署硬件以外，Auto Device plugin還將進一步優(yōu)化GPU/VPU的第一次推理延遲。AUTO Device plugin的策略是默認將第一次推理任務加載到CPU上運行，同時在GPU/VPU等性能更強的協(xié)處理器上編譯加載執(zhí)行網(wǎng)絡，待CPU完成第一次推理請求后，再將任務無感地遷移到GPU/VPU等硬件設備中完成后續(xù)的推理任務。

　　如今疫情肆虐，希望這次全新升級的OpenVINO能給忘帶電腦、封控在家回家的小伙伴們提供便利，和Nono一樣再也不怕不同設備平臺間的移植、部署和推理了。

04 PERFORMANCE_HINT

　　卓越的可移植性固然重要，但在相應的硬件平臺，需要為推理任務配置不同的參數(shù)時，相信很多小伙伴也會和Nono一樣感到很痛苦。

　　為了讓開發(fā)者盡可能用一套代碼來適配不同的Intel硬件平臺。OpenVINO全新版本中引入了全新的PERFORMANCE_HINT功能，用戶只需指定他的推理任務需求：延遲優(yōu)先還是推理優(yōu)先。compile_model便可以自動進行相應的硬件參數(shù)配置，達到相對較優(yōu)的性能目標。

　　此外，針對GPU這樣并行計算能力較強的設備，新的Auto Batching功能還可以通過將PERFORMANCE_HINT指定為吞吐量模式，來隱式地開啟該功能，并自動配置batch size大小，充分激活GPU硬件性能，優(yōu)化內(nèi)存資源占用。

　　看到這里，Npnp突然來了種錯覺,“垂死碼中驚坐起，Nono看到PERFORMANCE_HINT還能理”，不知道小伙伴們是不是也有同樣感受？

全新升級

大咖怎么看

英特爾網(wǎng)絡與邊緣事業(yè)部OpenVINO開發(fā)者工具副總裁Adam Burns表示：

　　“最新版OpenVINO 2022.1根據(jù)數(shù)十萬開發(fā)者在過去三年多的反饋而開發(fā)，旨在簡化和自動化優(yōu)化工作。最新版本增加了硬件自動發(fā)現(xiàn)和自動優(yōu)化功能，讓軟件開發(fā)者可以在任意平臺上實現(xiàn)最優(yōu)性能。該軟件與英特爾芯片相結(jié)合，可實現(xiàn)顯著的AI投資回報優(yōu)勢，并可輕松部署到用戶網(wǎng)絡中基于英特爾技術(shù)的解決方案中?！?/p>

Zeblok創(chuàng)始人兼首席執(zhí)行官Mouli Narayanan認為：

　　“我們的使命就是要考慮每次洞察的成本。通過采用英特爾處理器，我們實現(xiàn)了經(jīng)濟、高能效的AI推理，并產(chǎn)生了極高的投資回報。這個新版OpenVINO將為我們的生態(tài)系統(tǒng)創(chuàng)造更高的價值。”

在American Tower創(chuàng)新副總裁Eric Watko看來：

　　“憑借American Tower的邊緣基礎設施、英特爾的OpenVINO深度學習功能和Zeblok的AI平臺即服務，我們可以為市場提供完整的智能解決方案。”

不得不說，這次的新版本

真的是太靈啦~

還沒有體驗過的小伙伴們

快來試試吧！

復制鏈接即可進入下載頁

http://count.eepw.com.cn/count/doRedirect?https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit-download.html