NVIDIA：以Jetson邊緣設(shè)備在現(xiàn)實(shí)世界探索生成式 AI 無限可能

作為人工智能產(chǎn)業(yè)的引領(lǐng)者，NVIDIA相信，有了來自邊緣的所有實(shí)時(shí)數(shù)據(jù)以及對(duì)這些數(shù)據(jù)的理解能力，AI 應(yīng)用就成為了能夠與真實(shí)世界互動(dòng)的智能體。邊緣智能行業(yè)應(yīng)用空間廣泛，尤其是在制造業(yè)、政府、電信、醫(yī)療等重點(diǎn)領(lǐng)域，敏捷連接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)成為這些應(yīng)用的核心需求，邊緣智能將成為實(shí)現(xiàn)行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵。隨著商業(yè)神經(jīng)網(wǎng)絡(luò)的成熟，物聯(lián)網(wǎng)設(shè)備的普及以及并行計(jì)算和 5G 的進(jìn)步，我們現(xiàn)在能夠通過強(qiáng)大的基礎(chǔ)架構(gòu)來實(shí)現(xiàn)通用機(jī)器學(xué)習(xí)。企業(yè)應(yīng)該把握良機(jī)，將 AI 應(yīng)用于他們的營業(yè)場(chǎng)所并依據(jù)實(shí)時(shí)洞察采取行動(dòng)，同時(shí)降低成本并加強(qiáng)隱私。

面對(duì)邊緣設(shè)備的智能應(yīng)用需求，NVIDIA 在邊緣智能領(lǐng)域的技術(shù)創(chuàng)新和產(chǎn)品支持為行業(yè)發(fā)展注入了強(qiáng)大的動(dòng)力。NVIDIA 此前發(fā)布了 Jetson 生成式 AI 實(shí)驗(yàn)室（Jetson Generative AI Lab），使開發(fā)者能夠通過 NVIDIA Jetson 邊緣設(shè)備在現(xiàn)實(shí)世界中探索生成式 AI 的無限可能性。此外，邊緣AI應(yīng)用對(duì)硬件的尺寸、功耗和性能都有非常高的要求，NVIDIA 的Jetson Nano 開發(fā)套件功耗只有 5 W，是傳統(tǒng)計(jì)算機(jī)的十分之一，這意味著它可以在移動(dòng)設(shè)備、嵌入式系統(tǒng)、機(jī)器人等低功耗場(chǎng)景中使用。普遍來看，在使用 Jetson 模組等嵌入式系統(tǒng)時(shí)，必須根據(jù)功率分配和計(jì)算資源來優(yōu)化應(yīng)用。Jetson 模組自帶 GPU、CPU 和各種 AI 加速器，還配有高效率的功率管理集成電路（PMIC）、穩(wěn)壓器和電源樹來進(jìn)行功率效率優(yōu)化。同時(shí)，NVIDIA 提供包括各種功率模式、功率與散熱和電氣管理功能、用于監(jiān)控功率和散熱狀態(tài)的 Jetson Power GUI、用于提供模組命令行統(tǒng)計(jì)數(shù)據(jù)的 Tegrastats以及JTOP等多種工具和資源，幫助用戶充分利用功率架構(gòu)并優(yōu)化資源使用。每個(gè) Jetson 模組都支持多種預(yù)配置功率模式，也能夠針對(duì) 10 W、15 W、30 W等特定功率進(jìn)行預(yù)算優(yōu)化。

智能工業(yè)是邊緣AI非常重要的應(yīng)用場(chǎng)景，NVIDIA 推出了Jetson AGX Orin工業(yè)級(jí)模塊等開發(fā)工具，幫助開發(fā)者開發(fā)邊緣AI應(yīng)用。Jetson AGX Orin 工業(yè)級(jí)模塊可在 15-75 W 功率范圍內(nèi)提供高達(dá) 248 TOPS 的 AI 性能。其外形尺寸和引腳與 Jetson AGX Orin 兼容，性能比 Jetson AGX Xavier 工業(yè)級(jí)模塊提升了 8 倍以上。其能夠在惡劣環(huán)境下提供更高級(jí)別的計(jì)算能力。許多應(yīng)用程序，包括農(nóng)業(yè)、工業(yè)制造、采礦、建筑和交通等領(lǐng)域，都必須經(jīng)受極端環(huán)境和長時(shí)間的沖擊和震動(dòng)。例如，在廣泛的農(nóng)業(yè)應(yīng)用中，強(qiáng)大的硬件至關(guān)重要，因?yàn)樗箼C(jī)械能夠承受重負(fù)荷、在崎嶇的地形中導(dǎo)航，并在不同溫度下持續(xù)運(yùn)行。NVIDIA Jetson 模塊已經(jīng)改變了智能農(nóng)業(yè)，為自動(dòng)駕駛拖拉機(jī)和智能收割、除草和選擇性噴灑系統(tǒng)提供動(dòng)力。在鐵路應(yīng)用中，火車高速行駛時(shí)會(huì)產(chǎn)生振動(dòng)，火車車輪和鐵軌之間的相互作用也會(huì)產(chǎn)生額外的間歇性振動(dòng)和沖擊。運(yùn)輸公司正在使用 Jetson探測(cè)物體、預(yù)防事故和優(yōu)化維護(hù)成本。采礦是另一個(gè)需要符合工業(yè)要求的領(lǐng)域。例如 Tage IDriver 推出了基于 Jetson AGX Xavier 工業(yè)級(jí)模塊的智能礦場(chǎng)地面-云端協(xié)調(diào)無人運(yùn)輸?shù)V車解決方案。在露天礦場(chǎng)環(huán)境下，無人礦車需要具備更強(qiáng)的耐用性。在近地或外太空中，輻射水平帶來了巨大的挑戰(zhàn)，部署耐用且能夠耐受輻射的模塊對(duì)于確?？煽扛咝У倪\(yùn)行至關(guān)重要。許多衛(wèi)星公司都希望在邊緣部署人工智能，但是他們?cè)趯ふ液线m的計(jì)算模塊時(shí)面臨著挑戰(zhàn)。NVIDIA Jetson 模塊裝有激光雷達(dá)、攝像頭、雷達(dá)等傳感器，能夠在惡劣的環(huán)境中實(shí)現(xiàn)所需的精準(zhǔn)感知。

近兩年來，隨著生成式AI的火爆，NVIDIA 的技術(shù)成為推動(dòng)生成式AI應(yīng)用發(fā)展的技術(shù)動(dòng)力源泉，在邊緣側(cè)應(yīng)用提供生成式AI將成為極具發(fā)展?jié)摿Φ膽?yīng)用領(lǐng)域。隨著該領(lǐng)域快速發(fā)展，幾乎每天都有新的 LLM 出現(xiàn)，并且量化程序庫的發(fā)展也在一夜之間重塑了基準(zhǔn)，NVIDIA 認(rèn)識(shí)到了提供最新信息和有效工具的重要性。因此 NVIDIA 提供簡單易學(xué)的教程和預(yù)構(gòu)建容器，而實(shí)現(xiàn)這一切的是 jetson-containers，一個(gè)精心設(shè)計(jì)和維護(hù)的開源項(xiàng)目，旨在為 Jetson 設(shè)備構(gòu)建容器。該項(xiàng)目使用 GitHub Actions，以 CI/CD 的方式構(gòu)建了 100 個(gè)容器。這些容器使用戶能夠在 Jetson 上快速測(cè)試最新的 AI 模型、程序庫和應(yīng)用，無需繁瑣地配置底層工具和程序庫。

在開發(fā)者支持方面，NVIDIA Jetson AGX Orin 開發(fā)者套件與所有 Jetson Orin 模塊共享同樣的 SoC 架構(gòu)，因此能夠仿真任何模塊，使開發(fā)者能夠輕松地開始開發(fā)新一代產(chǎn)品。擁有緊湊的尺寸、大量的連接器和高達(dá) 275 TOPS 的 AI 性能，該開發(fā)者套件是開發(fā)先進(jìn) AI 機(jī)器人和其他邊緣 AI 設(shè)備原型的最佳選擇。此外，NVIDIA IGX Orin 開發(fā)者套件可提供一個(gè)滿足工業(yè)和醫(yī)療環(huán)境需求的工業(yè)級(jí)邊緣 AI 平臺(tái)。內(nèi)置的 NVIDIA Holoscan 是一套能夠協(xié)調(diào)數(shù)據(jù)移動(dòng)、加速計(jì)算、實(shí)時(shí)可視化和 AI 推理的 SDK。該平臺(tái)讓開發(fā)者能夠?qū)㈤_源 LLM 添加到邊緣 AI 流式傳輸工作流和產(chǎn)品中，為實(shí)時(shí) AI 傳感器處理帶來了新的可能性，同時(shí)確保敏感數(shù)據(jù)保持在 IGX 硬件的安全邊界內(nèi)。IGX Orin 專為邊緣環(huán)境打造，可以處理來自攝像頭、激光雷達(dá)傳感器、無線電天線、加速度計(jì)、超聲探頭等的流信息。這一通用性使各種先進(jìn)的應(yīng)用能夠無縫地將 LLM 的強(qiáng)大功能與實(shí)時(shí)數(shù)據(jù)流融合。在集成到 Holoscan 操作系統(tǒng)后，這些 LLM 可顯著增強(qiáng) AI 傳感器處理管道的能力和功能。

在軟件方面，NVIDIA 發(fā)布了 NVIDIA AI Enterprise IGX，該軟件可以在 IGX 平臺(tái)上運(yùn)行，優(yōu)化 AI 工作流的開發(fā)和部署，確保企業(yè)機(jī)構(gòu)能夠獲得必要的 AI 框架和工具。IGX 是一個(gè)安全、可靠的自主系統(tǒng)平臺(tái)，它能夠改善人機(jī)協(xié)同。對(duì)于制造業(yè)和物流業(yè)，IGX 為高度監(jiān)管的實(shí)體工廠和倉庫提供了額外的安全層；對(duì)于醫(yī)療行業(yè)的邊緣 AI 用例，IGX 提供安全、低延遲的 AI 推理，以滿足臨床對(duì)醫(yī)療程序中的一系列儀器和傳感器獲得即時(shí)洞察的需求，例如機(jī)器人輔助手術(shù)、患者監(jiān)測(cè)系統(tǒng)等。