2023年3月21日 - NVIDIA于今日推出四款推理平臺(tái),。這些平臺(tái)針對(duì)各種快速興起的生成式AI應(yīng)用進(jìn)行了優(yōu)化,，能夠幫助開發(fā)人員快速構(gòu)建用于提供新服務(wù)和洞察的AI驅(qū)動(dòng)的專業(yè)應(yīng)用。
這些平臺(tái)將NVIDIA的全棧推理軟件與最新的NVIDIA Ada,、Hopper和Grace Hopper處理器相結(jié)合,，包括今天推出的NVIDIA L4 Tensor Core GPU 。各平臺(tái)針對(duì)AI視頻、圖像生成、大型語言模型部署,、推薦系統(tǒng)推理等需求激增的工作負(fù)載進(jìn)行了優(yōu)化。
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“生成式AI的興起需要更加強(qiáng)大的推理計(jì)算平臺(tái),。生成式AI應(yīng)用的數(shù)量是無限的,，它唯一的限制就是人類的想象力。為開發(fā)人員提供最強(qiáng)大,、靈活的推理計(jì)算平臺(tái)將加快新服務(wù)的創(chuàng)造速度,，這些新服務(wù)將以前所未有的方式改善我們的生活?！?/p>
加速生成式AI的各種推理工作負(fù)載集
每個(gè)平臺(tái)都包含一個(gè)為特定生成式AI推理工作負(fù)載而優(yōu)化的NVIDIA GPU和專用的軟件：
適用于AI視頻的NVIDIA L4可提供比CPU高出120倍的AI視頻性能,，同時(shí)能效提高了99%。這款適用于幾乎所有工作負(fù)載的通用GPU提供更加強(qiáng)大的視頻解碼和轉(zhuǎn)碼能力,、視頻流式傳輸,、增強(qiáng)現(xiàn)實(shí),、生成式AI視頻等,。
適用于圖像生成的NVIDIA L40針對(duì)圖形以及AI支持的2D、視頻和3D圖像生成進(jìn)行了優(yōu)化,。L40平臺(tái)是NVIDIA Omniverse?（一個(gè)用于在數(shù)據(jù)中心構(gòu)建和運(yùn)行元宇宙應(yīng)用的平臺(tái)）的引擎,，與上一代產(chǎn)品相比，其Stable Diffusion推理性能提高了7倍,，Omniverse性能提高了12倍,。
適用于大型語言模型部署的NVIDIA H100 NVL是規(guī)模化部署像ChatGPT這樣的大型語言模型（LLMs）的理想平臺(tái),。這款新的H100 NVL擁有94GB內(nèi)存和Transformer引擎加速,，在數(shù)據(jù)中心規(guī)模，與上一代A100相比,，GPT-3上的推理性能提高了多達(dá)12倍,。
適用于推薦模型的NVIDIA Grace Hopper是圖形推薦模型、矢量數(shù)據(jù)庫(kù)和圖神經(jīng)網(wǎng)絡(luò)的理想平臺(tái),。通過NVLink-C2C以900 GB/s 的速度連接CPU和GPU,，Grace Hopper的數(shù)據(jù)傳輸和查詢速度比PCIe 5.0快了7倍。
這些平臺(tái)的軟件層采用NVIDIA AI Enterprise軟件 套件,，包括用于高性能深度學(xué)習(xí)推理的軟件開發(fā)套件NVIDIA TensorRT?,，以及幫助實(shí)現(xiàn)模型部署標(biāo)準(zhǔn)化的開源推理服務(wù)軟件NVIDIA Triton Inference Server ?。
早期采用者與支持
谷歌云是NVIDIA推理平臺(tái)的重要云合作伙伴和早期客戶,。該公司正在將L4平臺(tái)整合到其機(jī)器學(xué)習(xí)平臺(tái)Vertex AI中,，并且是第一家提供L4實(shí)例的云服務(wù)提供商,，其G2虛擬機(jī)的私人預(yù)覽版已于今天推出。
NVIDIA和谷歌今天分別宣布了首批在谷歌云上使用L4的兩家機(jī)構(gòu)--Descript和WOMBO,，前者使用生成式AI幫助創(chuàng)作者制作視頻和播客,，后者提供“Dream”這一AI驅(qū)動(dòng)的文本-數(shù)字藝術(shù)轉(zhuǎn)換應(yīng)用程序。
另一個(gè)早期采用者快手提供了一個(gè)短視頻應(yīng)用程序,，利用GPU對(duì)傳入的實(shí)時(shí)流媒體視頻進(jìn)行解碼,、捕捉關(guān)鍵幀并優(yōu)化音視頻。然后,，它使用一個(gè)基于Transformer的大型模型理解多模態(tài)內(nèi)容,，從而提高全球數(shù)億用戶的點(diǎn)擊率。
快手高級(jí)副總裁于越表示：“快手推薦系統(tǒng)所服務(wù)的社區(qū)每天的用戶人數(shù)超過3.6億,，他們每天貢獻(xiàn)3000萬條UGC視頻,。在相同的總體擁有成本下，相較于CPU,，NVIDIA GPU將系統(tǒng)的端到端吞吐量提高了11倍,，將延遲降低了20%?！?/p>
領(lǐng)先的生成式AI技術(shù)平臺(tái)D-ID,，通過使用NVIDIA L40 GPU從文本中生成逼真的數(shù)字人，支持任何內(nèi)容來生成人臉,，不僅幫助專業(yè)人士改進(jìn)視頻內(nèi)容,，同時(shí)減少了大規(guī)模視頻制作的成本和麻煩。
D-ID研發(fā)副總裁Or Gorodissky表示：“L40的性能十分驚人,。有了它,，我們將推理速度提高了一倍。D-ID十分高興能夠?qū)⑦@個(gè)新硬件作為我們產(chǎn)品的一部分,，以前所未有的性能和分辨率實(shí)現(xiàn)AI人的實(shí)時(shí)流傳輸,，并降低我們的計(jì)算成本?！?/p>
領(lǐng)先的AI制作工作室Seyhan Lee使用生成式AI為電影,、廣播和娛樂行業(yè)開發(fā)沉浸式體驗(yàn)和迷人的創(chuàng)意內(nèi)容。
Seyhan Lee聯(lián)合創(chuàng)始人Pinar Demirdag表示：“L40 GPU為我們的生成式AI應(yīng)用帶來了驚人的性能提升,。憑借L40的推理能力和內(nèi)存容量,，我們可以部署非常先進(jìn)的模型，并以驚人的速度和精度向客戶提供創(chuàng)新的服務(wù),?！?/p>
語言AI領(lǐng)域的先鋒Cohere所運(yùn)行的平臺(tái)使得開發(fā)人員能夠在保護(hù)數(shù)據(jù)隱私和安全的情況下，構(gòu)建自然語言模型,。
Cohere首席執(zhí)行官Aidan Gomez表示：“憑借NVIDIA的全新高性能H100推理平臺(tái),，我們可以使用先進(jìn)的生成式模型為客戶提供更加優(yōu)質(zhì),、高效的服務(wù)，推動(dòng)對(duì)話式AI,、多語言企業(yè)搜索,、信息提取等各種NLP應(yīng)用的發(fā)展?！?/p>
供應(yīng)情況
NVIDIA L4 GPU私人預(yù)覽版現(xiàn)已通過谷歌云平臺(tái)以及30多家計(jì)算機(jī)制造商所組成的全球網(wǎng)絡(luò)提供,。
NVIDIA L40 GPU現(xiàn)已通過全球領(lǐng)先的系統(tǒng)提供商提供，并且合作伙伴平臺(tái)的數(shù)量將在今年持續(xù)增加,。
Grace Hopper超級(jí)芯片已開始樣品供貨,，預(yù)計(jì)下半年將全面投產(chǎn)。H100 NVL GPU也將于下半年面市,。