新聞中心

EEPW首頁 > 嵌入式系統(tǒng) > 新品快遞 > 紅帽在OpenShift AI平臺上推出NVIDIA NIM集成功能

紅帽在OpenShift AI平臺上推出NVIDIA NIM集成功能

—— 這項與NVIDIA的合作旨在讓用戶能夠?qū)⒃诩t帽O(jiān)penShift AI上訓練的AI模型與NVIDIA NIM微服務結合起來,在一個單一、可信的MLOps平臺上開發(fā)AI驅(qū)動的應用
作者: 時間:2024-05-14 來源:EEPW 收藏

全球領先的開源解決方案提供商公司日前宣布,即將在上集成支持NVIDIA NIM微服務。這一舉措旨在在一致的開源AI/ML混合云平臺支持下,為數(shù)十種人工智能(AI)模型實現(xiàn)優(yōu)化推理。企業(yè)將能夠利用和NVIDIA NIM(NVIDIA 企業(yè)AI 軟件平臺的一部分,是一套易于使用的推理微服務),加速生成式AI(GenAI)應用的交付,從而更快地實現(xiàn)價值。

本文引用地址:http://www.butianyuan.cn/article/202405/458721.htm

紅帽的支持,基于紅帽行業(yè)領先的開放混合云技術,包括紅帽企業(yè)Linux和紅帽O(jiān)penShift,建立在對NVIDIA企業(yè)AI 的現(xiàn)有優(yōu)化基礎之上。作為最新合作的一部分,NVIDIA將實現(xiàn)NIM與KServe的互操作性,KServe是一個基于Kubernetes的開源項目,適用于高度可擴展的AI用例,同時也是 紅帽O(jiān)penShift AI的核心上游貢獻者。這將有助于促進微服務在紅帽 penShift AI未來迭代中的持續(xù)互操作性。

這種集成使企業(yè)能夠利用GenAI功能提高生產(chǎn)率,例如利用虛擬助理擴展客戶服務、對 IT 單據(jù)進行案例匯總,以及利用特定領域的協(xié)同機器人加速業(yè)務運營。

通過將紅帽O(jiān)penShift AI 與  結合使用,企業(yè)可以從以下方面獲益:

●   簡化集成路徑:與其他人工智能部署一起部署 NVIDIA NIM,提高一致性并簡化管理,使通用工作流程更加順暢。

●   協(xié)調(diào)與混合云環(huán)境中其他人工智能模型部署:對 NVIDIA NIM 部署進行集成擴展和監(jiān)控,確保與現(xiàn)有環(huán)境的協(xié)調(diào)性,并提供擴展性支持。

●   企業(yè)級的安全性、支持和穩(wěn)定性:確保企業(yè)在從原型到生產(chǎn)的過程中,基于人工智能的業(yè)務運作平穩(wěn)過渡,從而滿足業(yè)務的持續(xù)需求。

NVIDIA NIM微服務旨在加速企業(yè)的GenAI部署。NIM支持多種AI模型,包括開源社區(qū)模型、NVIDIA AI基礎模型和自定義模型,通過行業(yè)標準的應用編程接口(API),能夠在企業(yè)內(nèi)部或云端提供無縫、可擴展的AI推斷服務。

支持證言

Chris Wright, 紅帽CTO兼全球工程高級副總裁

“在與 NVIDIA 的合作中,紅帽專注于消除障礙,降低復雜性,從而讓企業(yè)能快速構建、管理和部署AI應用。紅帽 OpenShift AI 為擴展 NIM 微服務的覆蓋范圍提供了一個可擴展、靈活的基礎,通過預構建的容器和行業(yè)標準 API 為開發(fā)人員賦能,所有這些都由開源創(chuàng)新驅(qū)動。”

Justin Boitano,NVIDIA企業(yè)產(chǎn)品副總裁

“每個企業(yè)開發(fā)團隊都希望盡可能快速、安全地將他們的生成式人工智能應用投入生產(chǎn)。在紅帽 OpenShift AI 中集成 NVIDIA NIM 標志著我們合作的一個新里程碑,因為這將幫助開發(fā)人員利用性能優(yōu)化的基礎和嵌入模型,在任何云或數(shù)據(jù)中心中快速構建和擴展現(xiàn)代企業(yè)應用?!?/p>



關鍵詞: 紅帽 OpenShift AI NVIDIA NIM

評論


相關推薦

技術專區(qū)

關閉