基于英特爾OpenVINO優(yōu)化，愛奇藝已將深度學習應(yīng)用于視頻產(chǎn)品

隨著 AI 技術(shù)逐漸應(yīng)用于網(wǎng)絡(luò)視頻之中，算力優(yōu)化和平衡成本逐漸成為了視頻平臺關(guān)注的重點。36氪近期通過采訪愛奇藝技術(shù)部門相關(guān)負責人，了解到了 OpenVINO 為愛奇藝視頻平臺產(chǎn)品帶來的體驗提升。

事實上，2018 年 5 月，英特爾便推出了 OpenVINO 工具包，其功能為將計算機圖形和深度學習推理整合到前沿的視覺應(yīng)用中。

OpenVINO（開放式視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化）工具包使開發(fā)人員能夠基于不同的深度學習框架（例如當下流行的TensorFlow, MXNet和Caffe等框架），進行AI模型優(yōu)化，并將其部署到各種產(chǎn)品中。OpenVINO 的高效得益于英特爾此前投資的多項技術(shù)，包括CPU，F(xiàn)PGA（現(xiàn)場可編程門陣列）和Movidius視覺處理單元（VPU）等。

“AI 雷達”與“蒙版彈幕”

由于愛奇藝與英特爾是長期的合作伙伴，所以近期在各端平臺上推出的“AI 雷達”和“蒙版彈幕”功能，便已采用了基于 OpenVINO 的 CPU 優(yōu)化方案。

據(jù)愛奇藝智能平臺高級總監(jiān)劉俊暉介紹，AI 雷達最早是從 TV 端開始上線的，用戶可隨時在劇集中開啟 AI 雷達，搜索此時畫面中的人物、商品及其相關(guān)信息；蒙版彈幕則是通過機器視覺分析出劇集中主要角色的輪廓，并讓彈幕繞過人物顯示。

由于AI雷達是實時請求的服務(wù)，需要讓TV用戶快速得到反饋結(jié)果，所以需要按全量部署資源。如果服務(wù)部署在GPU平臺上，協(xié)調(diào)大量的GPU資源用于滿足峰值服務(wù)調(diào)用會產(chǎn)生很大的浪費，因為這些GPU的利用率在非峰值期間會很低，且價格偏高。相比之下，CPU 相對容易資源協(xié)調(diào)，價格也低許多。但 CPU 方案同樣具有弱點，就是沒有優(yōu)化的服務(wù)在 CPU 上的延時性能沒法滿足需求。

愛奇藝基礎(chǔ)架構(gòu)高級總監(jiān)吳杰珂表示，英特爾的 OpenVINO 工具包便是根據(jù)這類需求而推出的。采用 OpenVINO 進行優(yōu)化后，AI雷達服務(wù)中最核心的人臉檢測模型和人臉識別模型，延時性能上可以有大約6～8倍的提升。

基于英特爾 OpenVINO 并從計算機視覺的角度與 AI 結(jié)合應(yīng)用于流媒體，已在愛奇藝完成數(shù)十個應(yīng)用的 CPU 優(yōu)化，基于CPU進行人工智能服務(wù)的優(yōu)化和部署，提升CPU上人工智能服務(wù)性能最高可達到10倍以上，數(shù)千核 CPU 服務(wù)的部署，等量替換一百多個 GPU 資源，可降低深度學習云平臺超過 50% 成本。

另一個基于 OpenVINO 的產(chǎn)品“蒙版彈幕”，則已經(jīng)在部分劇目上試運行了。值得一提的是，如果片源發(fā)生變化，整集的人形分析就需要重新生產(chǎn)，但“及時更新”意味著大量的AI模型推理需求。

“蒙版彈幕的核心是圖像語義分割，用OpenVINO優(yōu)化之后，推理處理能力大約能有3～4倍的提升，這樣生產(chǎn)能力就得到了大幅提高，更新的頻率就可以更快，能更加及時地為用戶提供有蒙版彈幕功能的劇目?！?/p>

截至目前，各大視頻平臺已開始陸續(xù)推出“蒙版彈幕”類功能，未來針對深度學習優(yōu)化的工作也將愈發(fā)重要。

GPU、CPU 混用方案

據(jù)了解，對于人工智能的推理服務(wù)優(yōu)化，除了常見的CPU與GPU計算資源，愛奇藝已對多種使用OpenVINO 進行異構(gòu)計算加速人工智能算法的方案進行了開發(fā)評估，包括FPGA、VPU等計算資源。已完成開發(fā)的多種性能自動化評估工具、以及延時與吞吐最優(yōu)部署自動化評估工具，也大幅提升了對不同人工智能算法加速與優(yōu)化的開發(fā)效率。

GPU、CPU混用的方案，能夠在不同情況下切換算力硬件，滿足視頻平臺的各種需求。

以愛奇藝的 AI 布局為例，公司里面CPU的資源池要比GPU的資源池大得多，CPU池子比較容易做負載的調(diào)度，從而得到較強的抗高峰能力；另一方面，非高并發(fā)情況下，整體基于CPU的推理成本也比GPU要低很多，吳杰珂介紹道。

在OpenVINO調(diào)整好（準確率和延時）之后，平臺整體獲得了6~8倍的延時性能的提升，基本已接近純GPU方案的性能了。

吳杰珂表示，OpenVINO 工具包自面世以來也一直在優(yōu)化，在特定應(yīng)用和場景下，GPU和CPU各有優(yōu)略，另外，除了后臺應(yīng)用，OpenVINO還能在前端如Window設(shè)備上落地優(yōu)化方案。所以，對于愛奇藝來說，兩種硬件混合調(diào)用的方案能夠?qū)?yōu)勢結(jié)合，且通過長期優(yōu)化硬件的布局數(shù)量，能夠持續(xù)提升性價比。

值得一提的是，英特爾這幾年在人工智能領(lǐng)域的投入逐年升高，在并購Altera后不到一年，又并購了Movidius公司。未來，愛奇藝也將和英特爾開展更多合作。

“神經(jīng)網(wǎng)絡(luò)計算棒可能是這家公司給大部分人的第一印象，現(xiàn)在在京東上大約550元和750元就可以分別買到第一代和第二代計算棒。我們也正在對基于Movidius芯片的方案進行評估，當然，不是計算棒，而是單板集成多片Movidius芯片的推理加速板卡。”

想要查看更多OpenVINO相關(guān)技術(shù)與資料，請戳>> http://butianyuan.cn/openvino