7月29日周一,，在美國丹佛市舉行的計算機圖形學和交互技術年度大會和展會SIGGRAPH 2024上，英偉達亮出新工具,。

英偉達CEO黃仁勛在SIGGRAPH 2024透露,，本周英偉達發(fā)送Blackwell架構的樣品，這是今年首發(fā)的新款芯片架構,。同時,，英偉達公布了一系列軟件更新，主要涉及用于優(yōu)化人工智能（AI）推理的云原生微服務——Nvidia inference micro service（NIM）,，推動企業(yè)大規(guī)模部署AI模型,。

今年3月英偉達推出NIM時介紹，NIM提供經(jīng)過優(yōu)化的推理微服務,，旨在縮短上市時間,，并簡化生成式 AI 模型在云、數(shù)據(jù)中心和 GPU 加速工作站的任何位置的部署,。NIM 支持跨多個領域的 AI 用例,，包括大語言模型 (LLM)、視覺語言模型 (VLM),，以及用于語音,、圖像、視頻,、3D,、藥物研發(fā),、醫(yī)學成像等的模型。

開發(fā)者可以使用英偉達托管的云API測試新的生成式 AI 模型,，或者通過下載 NIM 來自行托管模型,，并在主要云提供商或本地使用 Kubernetes 快速部署，以減少開發(fā)時間,、復雜性和成本,。NIM微服務通過打包算法、系統(tǒng)和運行時優(yōu)化并添加行業(yè)標準 API 來簡化 AI 模型部署流程,。這使開發(fā)者能夠將 NIM 集成到其現(xiàn)有應用程序App和基礎設施中,，無需大量定制或專業(yè)知識。

本周一英偉達宣布的更新擴大了NIM推理微服務庫,，涵蓋了物質世界環(huán)境,、高級視覺建模和各種垂直應用。英偉達已在預覽版中提供了約 100項NIM推理微服務,，現(xiàn)在要發(fā)布完整版本,。比如，作為英偉達的部分新NIM,，視覺媒體公司Getty Images Holdings的4K 圖像生成 API 和圖像,、影片、音樂等數(shù)字內(nèi)容供應商Shutterstock Inc. 的3D圖像生成器即將上線,。兩者都使用英偉達的Nvidia Edify,，它是一種用于視覺生成 AI 的多模式架構。

英偉達同日宣布,，與自然語言處理（NLP）工具集和平臺Hugging Face合作,，推出了推理即服務，幫助開發(fā)人員使用托管在 Hugging Face Hub 上的開源AI模型快速制作原型,，并將其部署到生產(chǎn)中。評論稱,，這一合作將簡化開發(fā)者的AI模型部署,。

fVDB利用現(xiàn)實世界3D數(shù)據(jù)打造空間智能

其中，英偉達推出fVDB,，利用現(xiàn)實世界的3D數(shù)據(jù),，打造空間智能。英偉達稱,，生成式物質AI模型可以理解并執(zhí)行物質世界中精細或粗大動作技能的操作,。理解物質世界的三維空間并在其中導航需要空間智能。為了給這種AI提供一個能夠處理現(xiàn)實規(guī)模的強大,、連貫的框架,，英偉達打造了fVDB,，這是一個專為稀疏、大規(guī)模和高性能空間智能而設計的深度學習框架,。

fVDB建立在OpenVDB上,，OpenVDB 是一個行業(yè)標準的結構和程序庫，用于模擬和渲染水,、火,、煙和云等稀疏體積數(shù)據(jù)。fVDB 提供的空間規(guī)模是以前框架的四倍,，性能是以前框架的 3.5 倍,，并且可以訪問大量現(xiàn)實世界數(shù)據(jù)集。它通過組合以前需要多個深度學習庫的功能來簡化流程,。

開源模塊化框架Isaac Lab提供模擬 加快機器人學習

英偉達同時推出Isaac Lab,，它是一個用于機器人學習的開源模塊化框架，可以解決傳統(tǒng)訓練方法對機器人學習技能的限制,。

Isaac Lab 為不同的訓練環(huán)境提供模塊化的高保真模擬,，提供物質世界AI功能和 GPU 驅動的物質世界模擬。

Isaac Lab 支持模仿學習（模仿人類）和強化學習（通過反復試驗學習）,，為任何機器人實現(xiàn)提供靈活的訓練方法,。它為訓練場景提供了一個用戶友好的環(huán)境，可幫助機器人制造商根據(jù)不斷變化的業(yè)務需求添加或更新機器人技能,。

用英偉達NIM和VIA微服務打造VLM 驅動的視覺AI代理

英偉達為物質世界的AI量身定制了NIM,，支持語音和翻譯、視覺以及逼真的動畫和行為,。英偉達推出VIA微服務,，現(xiàn)已可在開發(fā)者預覽版中下載。

VIA微服務可以輕松與NIM集成,，用戶可以在英偉達的模型預覽API和可下載NIM微服務API目錄中靈活使用任何LLM或VLM模型,。VIA微服務是英偉達Metropolis微服務的擴展，是云原生構建塊,，可加快VLM和NIM驅動的視覺AI代理開發(fā)速度,，無論部署在邊緣還是云端。

借助生成式 AI,、NIM微服務和基礎模型,，現(xiàn)在用戶可以用更少的模型，構建具有廣泛感知和豐富上下文理解的App,。VLM支持能夠理解自然語言提示并執(zhí)行視覺問答的視覺 AI 代理,。視覺AI代理使用計算機視覺功能來感知物質世界并與其交互、執(zhí)行推理任務。

這些代理能充分釋放了各行各業(yè)應用的可能性,，它們能顯著簡化App開發(fā)的工作流程,，并提供了變革性的新感知功能，例如圖像或視頻摘要,、交互式視覺問答和視覺警報,。這些視覺AI代理將可以部署在工廠、倉庫,、零售店,、機場、交通路口等地,，將幫助運營團隊利用自然互動中產(chǎn)生的更豐富見解,，做出更好的決策。

Omniverse Replicator幫助解決限制模型訓練的數(shù)據(jù)短缺問題

英偉達介紹了如何用NIM微服務為USD建立自定義合成數(shù)據(jù)生成 (SDG) 管道,，該微服務采用了英偉達的Omniverse Replicator,。Omniverse Replicator是基于通用場景描述 (OpenUSD) 和英偉達RTX構建的 SDK。

開發(fā)人員可以使用 NIM微服務和 Omniverse Replicator 等來構建支持生成式AI 的SDG管道,，解決通常會限制模型訓練的現(xiàn)實世界數(shù)據(jù)短缺問題,。

英偉達的Omniverse和模擬技術副總裁 Rev Lebaredian 說：

“我們構建了世界上第一個能夠理解基于OpenUSD的語言、幾何,、材料,、物理和空間的生成式AI模型?！?/p>

Lebaredian稱,，2016 年以來，英偉達一直在投資OpenUSD,，使工業(yè)企業(yè)和物質AI開發(fā)人員能夠更輕松,、更快地開發(fā)高性能模型。

英偉達還與共同創(chuàng)立了OpenUSD聯(lián)盟的蘋果合作,，構建了從英偉達由圖形就緒數(shù)據(jù)中心組成的網(wǎng)絡——Graphics Delivery Network,、到蘋果Apple Vision Pro在內(nèi)的混合渲染管道流。