OpenVINO? 再升級：英特爾為AI創(chuàng)新插上翅膀

40年前，個人電腦的問世將強大的計算能力壓縮至人們的桌面。20年前，智能手機的誕生拉近了人與人之間的距離。今天，AI 助手悄無聲息地滲透到我們的生活，改變著我們與世界互動的方式。

在上周剛剛落幕的 OpenVINO? DevCon 中國系列工作坊北京站活動上，眾多行業(yè)先鋒和創(chuàng)新者們展現(xiàn)了 AI 技術(shù)在多個領(lǐng)域的實際應(yīng)用。一個明顯的趨勢是：無論是行業(yè)領(lǐng)軍企業(yè)還是獨立開發(fā)者，無一不在全力以赴地“All In AI”。這些創(chuàng)新的解決方案，不僅標志著當前各行業(yè)對AI的應(yīng)用正進入爆發(fā)式增長階段，也預(yù)示著 AI 將與我們的生活更緊密地聯(lián)系在一起——從職場到家庭，從醫(yī)療到娛樂，開啟一個充滿可能性的未來。

OpenVINO? 2024.4 版上線，支持最新英特爾? 酷睿? Ultra 處理器（第二代）并顯著提升大語言模型推理性能

英特爾 OpenVINO? ，作為一款先進的 AI 工具套件，為開發(fā)者們提供了實現(xiàn)理想的 AI 部署的平臺。英特爾不斷優(yōu)化其性能，特別是提升其在PC和小型設(shè)備上運行大語言模型（LLM）的能力。最新發(fā)布的 OpenVINO? 2024.4 版本，為開發(fā)者帶來了諸多關(guān)鍵功能和性能改進，旨在確保大語言模型在所有場景中，無論是邊緣計算還是數(shù)據(jù)中心，都能實現(xiàn)卓越的 AI 性能。

首先，OpenVINO? 2024.4 版本的一大亮點是新增了對最新英特爾? 酷睿? Ultra處理器（第二代）的支持：

● 在客戶端技術(shù)方面，支持全新的 Xe2 GPU 架構(gòu)，該架構(gòu)搭載于最新發(fā)布的英特爾? 酷睿? Ultra 處理器（第二代）平臺，并由英特爾? Xe矩陣擴展（英特爾? XMX）加速技術(shù)驅(qū)動。Xe2 架構(gòu)在處理計算密集型任務(wù)，例如矩陣乘法方面，能夠帶來顯著的性能提升，對于加速大語言模型的部署至關(guān)重要。

● 英特爾? 酷睿? Ultra 處理器（第二代）還引入了一個更強大的神經(jīng)處理單元（NPU），其推理吞吐量相較前一代有重大升級。

在模型優(yōu)化和內(nèi)存管理方面，OpenVINO? 2024.4 版本有效降低了 AI 部署的成本，優(yōu)化了內(nèi)存使用，并顯著減少了延遲。

● 創(chuàng)建了高度優(yōu)化的 GPU 原語，如縮放點積注意力和旋轉(zhuǎn)位置嵌入，有效降低執(zhí)行復(fù)雜 AI 操作的成本。此外，對內(nèi)存管理進行了改進，更高效地支持帶有壓縮權(quán)重的模型，使得大語言模型能夠在資源受限的環(huán)境中，如筆記本電腦和邊緣設(shè)備上，能夠以最小的內(nèi)存占用運行。

● 在英特爾? 至強? 處理器上運行時， OpenVINO? 現(xiàn)支持由 Open Compute Project 規(guī)范定義的 mxfp4 格式，這使在運行大語言模型時，相比于 BF16 精度，能夠減少內(nèi)存消耗，同時提高處理第二個 Token 的延遲性能。

在模型支持方面，OpenVINO? 2024.4 覆蓋更多生成式 AI。

● 支持 GLM-4-9B Chat, MiniCPM-1B, Llama 3 和 3.1, Phi-3-Mini, Phi-3-Medium 以及 YOLOX-s 模型，并新增了一系列值得關(guān)注的 Notebook。

● 與 Hugging Face 合作，更新了 Optimum-Intel 解決方案，使得在利用 Hugging Face API 運行模型的同時，能夠使用 OpenVINO? 高效地導出和壓縮模型，以供 OpenVINO? GenAI 套件 API 使用。

OpenVINO? DevCon 盡顯社區(qū)創(chuàng)新活力，背包里的 AI PC 定義智能新紀元

今年，OpenVINO? 發(fā)布了多個更新版本，且持續(xù)通過與開發(fā)者的交流和互動，將行業(yè)趨勢與OpenVINO? 的最新技術(shù)帶給開發(fā)者，助力開發(fā)者系統(tǒng)進階。在近日舉辦的OpenVINO? DevCon中國系列工作坊北京站中，數(shù)百位開發(fā)者親臨現(xiàn)場，探討了“OpenVINO? 加速PC及小型設(shè)備性能”的應(yīng)用潛力，并展示了他們在語音智能交互、媒體娛樂、醫(yī)療分析等領(lǐng)域利用OpenVINO? 實現(xiàn)的創(chuàng)新成果。

人形機器人展示：將大模型“裝進”AI PC，小巧機身濃縮超級智慧

在機器人領(lǐng)域，一個核心挑戰(zhàn)在于：如何將復(fù)雜的AI大模型部署到資源受限的本地硬件，賦予機器人以智慧的“生命”。這一挑戰(zhàn)猶如將一頭大象塞進狹小的冰箱，不僅考驗技術(shù)的高度，更要求在成本和性能之間尋找到最優(yōu)的解決方案。

OpenVINO? 通過模型的量化、壓縮和加速，降低了 AI 大模型在邊緣設(shè)備上的運行負擔，并通過支持多硬件平臺，實現(xiàn)了計算資源的高效利用，使在 AI PC 輕薄筆記本上運行大型模型成為可能。當這些 AI 大模型與機器人、機械臂等硬件結(jié)合，它們就仿佛被賦予了生命，能夠聽懂人類的復(fù)雜指令，機智應(yīng)對各種挑戰(zhàn)，展現(xiàn)著智能機器人的無限潛力。

對話式AI語音助手：聊天只是開胃菜，超級助理才是真身份

對話式 AI 語音助手已經(jīng)在我們的日常生活中扮演越來越重要的角色。事實上，隨著智能化程度不斷加深，這些 AI 助手正走進醫(yī)療、教育、金融等多個領(lǐng)域，為各行各業(yè)的帶來效率提升。

例如，在醫(yī)院場景中，患者通常需要在候診室等待數(shù)小時，而醫(yī)生則被迫在幾分鐘內(nèi)完成診斷。如何優(yōu)化就診流程，成為了緩解醫(yī)患矛盾的關(guān)鍵。基于 OpenVINO? 搭建的大語言模型對話式 AI 助手，能夠幫助醫(yī)院改善這一狀況。AI 語音助手通過語音識別和大型語言模型，在患者踏入診室之前就能與患者展開交流，收集其癥狀信息，并為醫(yī)生制作詳細的病例總結(jié)。如此，當患者進入診室，醫(yī)生便能夠直接進入診斷的核心環(huán)節(jié)，極大地縮短了就診時間，提升了患者滿意度。

與直播息息相關(guān)：AI化身美顏大師，數(shù)字人與未來共舞

在視頻直播盛行的今天，智能美顏和數(shù)字人技術(shù)已成為行業(yè)的標配。但如何降低相關(guān)技術(shù)的開發(fā)門檻和成本仍是行業(yè)持續(xù)探索的議題。如今借助英特爾 OpenVINO?，相芯科技讓 AI 數(shù)字人和 AR 視頻特效技術(shù)實現(xiàn)了更低成本的部署。

例如，在視頻互動中，OpenVINO? 極致的優(yōu)化能力結(jié)合相芯在 AI 美顏方面的多年積累，在 AR 視頻特效方面實現(xiàn)了出色的效果。AI 在美顏時不僅能準確識別和修飾面部的細微瑕疵，如雀斑、痘痘，還能巧妙保留用戶的個人特色，確保美顏效果既真實自然又富有個性魅力。

依托 OpenVINO? 構(gòu)建的 AI 數(shù)字人產(chǎn)品，也正被廣泛應(yīng)用于在線教育、遠程辦公、直播帶貨、社交娛樂等多個領(lǐng)域。OpenVINO? 通過優(yōu)化的開發(fā)框架，提高了模型的轉(zhuǎn)換速度和壓縮率，不僅降低了資源消耗和成本門檻，還確保了模型在不同硬件平臺上高效運行。從教育啟迪到娛樂陪伴，從工作輔助到情感交流，數(shù)字人應(yīng)用的深度和影響力不斷加深。

當 AI 走進日常生活：減負、傳承…指尖智慧締造美好生活

OpenVINO? 不僅推動著行業(yè) AI 應(yīng)用的發(fā)展，更為眾多獨立開發(fā)者提供了施展才華和創(chuàng)意的平臺。從技術(shù)博主到懷揣夢想的學生和創(chuàng)業(yè)者，他們利用AI技術(shù)，探索如何讓科技服務(wù)于人，真正改善人類生活的世界。

把授課交給老師，批改作業(yè)交給機器

長久以來，學校教師肩負著作業(yè)批改的繁重負擔。一款基于 OpenVINO? 構(gòu)建并優(yōu)化的離線作業(yè)批改應(yīng)用幫助教師緩解了這一難題。只需將題目輸入到筆記本電腦，AI 大模型便能將學生答案與標準答案自動進行比對，完成作業(yè)批改。結(jié)合打印機，批改結(jié)果便能即時呈現(xiàn)在學生試卷之上。每分鐘超過60份試卷的批改速度，批改準確率超過95%，讓教師徹底從繁重的體力勞動中解放出來，大大提高了教育工作的效率。

利用OpenVINO?，跨過批量剪輯視頻之“痛”

在數(shù)字營銷的戰(zhàn)役中，出街速度至關(guān)重要。北京海百川有限公司開發(fā)的 AIGC 數(shù)字內(nèi)容生成結(jié)合全息硬件展示系統(tǒng)能夠輕松處理復(fù)雜任務(wù)，從視頻生成、虛擬互動到與大型 AI 模型的集成，使得在視覺識別、面部表情和身體動作的捕捉上都能生成引人入勝的數(shù)字內(nèi)容。通過高性能的 AI 推理引擎，系統(tǒng)能夠自動捕捉熱點，制作出適應(yīng)不同語言和文化環(huán)境的視頻內(nèi)容，達到批量生產(chǎn)視頻的效果，滿足市場的多樣化需求和對速度的追求。

傳統(tǒng)針灸“智慧”傳承，AI技術(shù)功不可沒

針灸作為一種傳統(tǒng)的中醫(yī)療法，其操作依賴于針灸師手工進行。隨著城市化和人口老齡化帶來對針灸服務(wù)的需求的上升，現(xiàn)有的針灸師隊伍難以滿足龐大的市場需求。上海墀圣信息科技有限責任公司借助英特爾的 OpenVINO? 開發(fā)的謐行針灸系統(tǒng)方案，通過智能化手段，不僅能夠快速準確地識別人體穴位，還通過量化針灸手法，實現(xiàn)了治療操作的標準化，提高了治療的效率和準確性。此外，龐大的針灸知識數(shù)據(jù)庫，還為針灸咨詢、學習與考核提供了支持，加速了針灸知識的普及與傳播。

隨著 OpenVINO? 2024.4 版本的發(fā)布，工程師將可以利用更多的性能加速創(chuàng)新。英特爾將繼續(xù)與全球開發(fā)者一起，探索 AI 的未知領(lǐng)域，讓每一個創(chuàng)意都能成為現(xiàn)實。