NVIDIA 推動(dòng)生成式 AI 與機(jī)器人相結(jié)合
2024-01-12
來(lái)源:NVIDIA
生成式 AI 正在重塑價(jià)值數(shù)萬(wàn)億美元的產(chǎn)業(yè)。NVIDIA 作為智能機(jī)器人領(lǐng)域的領(lǐng)跑者,,正在抓住這一機(jī)遇,。
今日,NVIDIA 機(jī)器人和邊緣計(jì)算副總裁 Deepu Talla 在 CES 上的特別演講中,,詳細(xì)介紹了 NVIDIA 及合作伙伴是如何將生成式 AI 與機(jī)器人技術(shù)相結(jié)合的,。
這一切都是水到渠成,有越來(lái)越多的合作伙伴正在使用由 GPU 加速的大語(yǔ)言模型,,為各類(lèi)機(jī)器帶來(lái)前所未有的智能和適應(yīng)能力,,這些合作伙伴包括波士頓動(dòng)力公司、Collaborative Robotics,、Covariant,、Sanctuary AI、宇樹(shù)科技等,。
現(xiàn)在正是一個(gè)千載難逢的好時(shí)機(jī),。
Talla 表示:“由 AI 驅(qū)動(dòng)的自主機(jī)器人越來(lái)越多地應(yīng)用于提高效率、降低成本和解決勞動(dòng)力短缺問(wèn)題,?!?/p>
共創(chuàng)變革
從一開(kāi)始,NVIDIA 就一直是這場(chǎng)生成式 AI 變革的核心,。
十年前,,NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛親手將第一臺(tái) NVIDIA DGX AI 超級(jí)計(jì)算機(jī)交付給 OpenAI。如今,,得益于 OpenAI 的 ChatGPT,,生成式 AI 已成為當(dāng)代發(fā)展最快的技術(shù)之一。
而這一切才剛剛開(kāi)始,。
Talla 預(yù)測(cè),,生成式 AI 的影響將超越文本和圖像生成,進(jìn)入到家庭和辦公室,、農(nóng)場(chǎng)和工廠,、醫(yī)院和實(shí)驗(yàn)室中。
其關(guān)鍵在于,,類(lèi)似于人類(lèi)大腦語(yǔ)言中心的大語(yǔ)言模型(LLM),,使機(jī)器人能夠更自然地理解和響應(yīng)人類(lèi)指令。
這些機(jī)器能夠不斷地向人類(lèi),、彼此和周?chē)氖澜鐚W(xué)習(xí),。
Talla 表示:“鑒于這些特性,生成式 AI 非常適合用于機(jī)器人技術(shù)?!?br/>
機(jī)器人如何使用生成式 AI
Agility Robotics 和其他公司正在將生成式 AI 整合到他們的機(jī)器人中,,以幫助理解文本或語(yǔ)音命令。追覓科技的機(jī)器人吸塵器,,正在由生成式 AI 模型創(chuàng)建的模擬生活空間中接受訓(xùn)練,。同時(shí),Electric Sheep 也正在開(kāi)發(fā)一種自動(dòng)割草的全球范式,。
NVIDIA Isaac 和 Jetson 平臺(tái)等 NVIDIA 技術(shù)能夠?yàn)?AI 機(jī)器人的開(kāi)發(fā)和部署提供助力,,被超過(guò) 120 萬(wàn)名開(kāi)發(fā)人員和 10,000 名客戶以及合作伙伴所使用。
其中的許多企業(yè)都參加了本周的 CES,,包括亞德諾半導(dǎo)體,、Aurora Labs、Canonical,、追覓創(chuàng)新科技,、DriveU、e-con Systems ,、Ecotron、Enchanted Tools,、GlüxKind,、禾賽科技、Leopard Imaging,、九號(hào)公司(未嵐大陸(北京)科技有限公司),、Nodar、奧比中光,、QT Group,、速騰聚創(chuàng)、Spartan Radar,、TDK,、Telit、宇樹(shù)科技,、Voyant Photonics 和一徑科技等,。
雙機(jī)勝于單機(jī)
為了展示該模式的運(yùn)作方式,Talla 在演講中展示了將 AI 部署到機(jī)器人技術(shù)中所必需的雙計(jì)算機(jī)模型(如下),,展現(xiàn)出 NVIDIA 在 AI 開(kāi)發(fā)和應(yīng)用方面的全面性,。
第一臺(tái)計(jì)算機(jī)被稱為“AI 工廠”,是創(chuàng)建和不斷改進(jìn) AI 模型的核心,。
AI 工廠使用了 NVIDIA 數(shù)據(jù)中心計(jì)算基礎(chǔ)設(shè)施以及 NVIDIA AI 和 NVIDIA Omniverse 平臺(tái),,可以仿真和訓(xùn)練 AI 模型。
第二臺(tái)計(jì)算機(jī)代表機(jī)器人的運(yùn)行環(huán)境。
運(yùn)行環(huán)境根據(jù)應(yīng)用的不同而有所變化,,比如可以是云或數(shù)據(jù)中心,;對(duì)于半導(dǎo)體制造中的缺陷檢測(cè)等任務(wù)則是本地服務(wù)器;配備多個(gè)傳感器和攝像頭的自主機(jī)器也可能成為運(yùn)行環(huán)境,。
生成高質(zhì)量資產(chǎn)和場(chǎng)景
Talla 還重點(diǎn)介紹了 LLM 在打破技術(shù)壁壘方面的作用,。LLM 可以將普通用戶變成技術(shù)藝術(shù)家,能夠創(chuàng)建復(fù)雜機(jī)器人工作單元或整個(gè)倉(cāng)庫(kù)仿真,。
借助 NVIDIA Picasso 等生成式 AI 工具,,用戶可以根據(jù)簡(jiǎn)單的文字提示來(lái)生成逼真的 3D 資產(chǎn),并將其添加到數(shù)字場(chǎng)景中,,以實(shí)現(xiàn)動(dòng)態(tài),、全面的機(jī)器人訓(xùn)練環(huán)境。
這一功能還可擴(kuò)展到在 Omniverse 中創(chuàng)建多樣化且符合物理學(xué)的場(chǎng)景,,從而加強(qiáng)機(jī)器人的測(cè)試和訓(xùn)練,,保證機(jī)器人在現(xiàn)實(shí)世界中的適用性。
這與生成式 AI 在重新構(gòu)建機(jī)器人部署方式上的變革潛力不謀而合,。
以前的機(jī)器人是為特定任務(wù)而專門(mén)制造的,,而根據(jù)不同任務(wù)來(lái)修改機(jī)器人十分耗時(shí)。
Talla 還解釋道,,LLM 和視覺(jué)語(yǔ)言模型領(lǐng)域的進(jìn)步正在消除這一瓶頸,,使我們能夠通過(guò)自然語(yǔ)言與機(jī)器人進(jìn)行更直觀的交互。
這種適應(yīng)性強(qiáng),、能感知周?chē)h(huán)境的機(jī)器將很快遍布世界各地,。