英偉達(dá)推出 Tensor RT-LLM，使大語(yǔ)言模型在搭載 RTX 的 PC 平臺(tái)上運(yùn)行速度提高 4 倍

IT之家 10 月 18 日消息，英偉達(dá)是硬件領(lǐng)域的生成型人工智能之王，該公司的 GPU 為微軟、OpenAI 等公司的數(shù)據(jù)中心提供動(dòng)力，運(yùn)行著 Bing Chat、ChatGPT 等人工智能服務(wù)。今天，英偉達(dá)宣布了一款新的軟件工具，旨在提升大型語(yǔ)言模型（LLM）在本地 Windows PC 上的性能。

在一篇博客文章中，英偉達(dá)宣布了其 TensorRT-LLM 開(kāi)源庫(kù)，這個(gè)庫(kù)之前是為數(shù)據(jù)中心發(fā)布的，現(xiàn)在也可以用于 Windows PC。最大的特點(diǎn)是，如果 Windows PC 配備英偉達(dá) GeForce RTX GPU，TensorRT-LLM 可以讓 LLM 在 Windows PC 上的運(yùn)行速度提高四倍。

英偉達(dá)在文章中介紹了 TensorRT-LLM 對(duì)開(kāi)發(fā)者和終端用戶(hù)的好處：

在更大的批量大小下，這種加速可顯著改善更復(fù)雜的 LLM 使用體驗(yàn)，如寫(xiě)作和編碼助手，可同時(shí)輸出多個(gè)唯一的自動(dòng)完成結(jié)果，從而加速性能并改進(jìn)質(zhì)量，讓用戶(hù)可以有最好的選擇。

IT之家注意到，博客文章展示了一個(gè) TensorRT-LLM 的例子。當(dāng)向 LLaMa 2 基礎(chǔ)模型提出“《心靈殺手 2》集成了 NVIDIA 的哪些技術(shù)？”這一問(wèn)題時(shí)，它給出“游戲尚未公布”這一毫無(wú)幫助的回答。相反，使用 RAG 將 GeForce 新聞添加到向量庫(kù)中，并連接到相同的 Llama2 模型，不僅得到正確答案 ——NVIDIA DLSS 3.5、NVIDIA Reflex 和全景光線(xiàn)追蹤，而且在 TensorRT-LLM 加速的助力下響應(yīng)速度更快。這種速度與能力的結(jié)合為用戶(hù)提供更智能的解決方案。

TensorRT-LLM 很快就會(huì)在英偉達(dá)的開(kāi)發(fā)者網(wǎng)站上提供。

英偉達(dá)今天還在新的 GeForce 驅(qū)動(dòng)更新中增加了一些基于人工智能的功能。其中包括新的 1.5 版本的 RTX Video Super Resolution 功能，可以在觀看在線(xiàn)視頻時(shí)提供更好的分辨率提升效果和更少的壓縮效果。英偉達(dá)還為 Stable Diffusion Web UI 增加了 TensorRT 人工智能加速功能，讓擁有 GeForce RTX GPU 的用戶(hù)可以比正常情況下更快地從人工智能圖片生成器那里獲得圖像。