英偉達(dá)（Nvidia） 超大規(guī)模和 HPC 業(yè)務(wù)副總裁兼總經(jīng)理 Ian Buck 近日在美國銀行證券 2024 年全球技術(shù)大會(huì)上表示,，客戶正在投資數(shù)十億美元購買新的英偉達(dá)硬件,，以跟上更新的 AI 大模型的需求,，從而提高收入和生產(chǎn)力,。

Buck表示,，競(jìng)相建設(shè)大型數(shù)據(jù)中心的公司將特別受益，并在數(shù)據(jù)中心四到五年的使用壽命內(nèi)獲得豐厚的回報(bào),。即“云提供商在購買 GPU 上花費(fèi)的每一美元,，四年內(nèi)（通過提供算力服務(wù)，GAAS）都能收回 5 美元,?！?/p>

“如果用于推理，則更有利可圖,，每花費(fèi) 1 美元,，在同樣的時(shí)間段內(nèi)就能產(chǎn)生 7 美元的營業(yè)額，并且這個(gè)數(shù)字還在增長,?！盉uck說道。

英偉達(dá)創(chuàng)始人,、總裁兼首席執(zhí)行官黃仁勛和執(zhí)行副總裁兼首席財(cái)務(wù)官Colette Kress此前也曾表達(dá)過同樣的觀點(diǎn),。

他們此前曾表示，借助CUDA算法創(chuàng)新,，英偉達(dá)將H100的LLM推斷速度提升至原來的3倍,，這可以將Llama 3這類的模型的成本降低到原來的三分之一。而H200在推理性能上較H100幾乎翻了一番,，為生產(chǎn)部署帶來了巨大的價(jià)值,。例如，使用7000億參數(shù)的LLama 3,，單臺(tái)HGX H200服務(wù)器可以每秒輸出24000個(gè)Token,，同時(shí)支持超過2400名用戶。這意味著,，按照現(xiàn)有的定價(jià)來看,，托管Llama3的API供應(yīng)商每花費(fèi)1美元在英偉達(dá)HGX H200服務(wù)器上，未來四年內(nèi)就可從Llama3 token計(jì)費(fèi)中賺取7美元收入,。

圍繞 Llama,、Mistral 或 Gemma 的 AI 推理模型正在不斷發(fā)展，并由Token提供服務(wù),。英偉達(dá)正在將開源 AI 模型打包到名為 Nvidia 推理微服務(wù) (NIM) 的容器中,。

英偉達(dá)最新推出的Blackwell 針對(duì)推理進(jìn)行了優(yōu)化。該 GPU 支持 FP4 和 FP6 數(shù)據(jù)類型,，在運(yùn)行低強(qiáng)度 AI 工作負(fù)載時(shí)可進(jìn)一步提高能效,。根據(jù)官方的數(shù)據(jù)，與Hopper相比，Blackwell 訓(xùn)練速度比H100快4倍,，推斷速度快30倍,，并且能夠?qū)崟r(shí)運(yùn)行萬億參數(shù)大語言模型生成式AI?？蛇M(jìn)一步將成本和能耗降低到原來的25分之一,。這似乎呼應(yīng)了黃仁勛多次喊出的“買的越多，省的越多”的口號(hào),。但是不可忽視的是,，英偉達(dá)GPU價(jià)格也在快速上漲。

為 Rubin GPU做準(zhǔn)備

很多云提供商提前兩年就已經(jīng)開始規(guī)劃新的數(shù)據(jù)中心,，并希望了解未來的AI GPU 架構(gòu)會(huì)是什么樣子,。

英偉達(dá)在6月初的Computex 2024展會(huì)上宣布，Blackwell芯片現(xiàn)已開始投產(chǎn),，即將替代Hopper芯片,。2025年將會(huì)推出Blackwell Ultra GPU芯片。英偉達(dá)還公布了下一代集成HBM4的名為“Rubin”的AI平臺(tái),，該GPU將于2026年發(fā)布,，以替代Blackwell和Blackwell Ultra GPU。

“對(duì)我們來說,，做到這一點(diǎn)真的很重要——數(shù)據(jù)中心不是憑空而來的,，它們是大型建設(shè)項(xiàng)目。他們需要了解Blackwell 數(shù)據(jù)中心會(huì)是什么樣子,，它與Hopper數(shù)據(jù)中心有何不同,？”Buck說。

Blackwell 提供了一個(gè)轉(zhuǎn)向更密集的計(jì)算形式和使用液體冷卻等技術(shù)的機(jī)會(huì),，因?yàn)榭諝饫鋮s效率不高,。

英偉達(dá)已經(jīng)宣布每年都會(huì)推出一款新的 GPU的節(jié)奏，這有助于公司跟上 AI 發(fā)展的步伐,，進(jìn)而幫助客戶規(guī)劃產(chǎn)品和 AI 戰(zhàn)略,。

Buck說：“英偉達(dá)已經(jīng)與那些最大的客戶針對(duì)Rubin GPU探討了一段時(shí)間——他們知道我們的目標(biāo)和時(shí)間表?！?/p>

AI 的速度和能力與硬件直接相關(guān),。在 GPU 上投入的資金越多，AI公司就能訓(xùn)練出更大的模型,，從而帶來更多收入。

微軟和谷歌將自己的未來寄托在人工智能上,，并競(jìng)相開發(fā)更強(qiáng)大的大型語言模型,。微軟嚴(yán)重依賴新的 GPU 來支撐其 GPT-4 后端，而谷歌則依賴其 TPU 來運(yùn)行其人工智能基礎(chǔ)設(shè)施。

Blackwell供不應(yīng)求

英偉達(dá)目前正在生產(chǎn) Blackwell GPU,，樣品很快就會(huì)發(fā)布,。但客戶可以預(yù)料，首批 GPU（將于年底發(fā)貨）將供不應(yīng)求,。

“每一項(xiàng)新技術(shù)的轉(zhuǎn)型都會(huì)帶來……供需方面的挑戰(zhàn),。我們?cè)?Hopper 上就經(jīng)歷過這種情況，Blackwell 的產(chǎn)能提升也將面臨類似的供需限制……今年年底到明年,，”Buck 說道,。

Buck還表示，數(shù)據(jù)中心公司正在淘汰 CPU 基礎(chǔ)設(shè)施,，為更多 GPU 騰出空間,。Hopper GPU 可能會(huì)被保留，而基于舊 Ampere 和 Volta 架構(gòu)的舊 GPU 則會(huì)被轉(zhuǎn)售,。

英偉達(dá)將保留多個(gè)級(jí)別的 GPU,，隨著 Blackwell 的不斷發(fā)展，Hopper 將成為其主流 AI GPU,。英偉達(dá)已經(jīng)進(jìn)行了多項(xiàng)硬件和軟件改進(jìn),，以提高 Hopper 的性能。

未來所有云提供商都將提供 Blackwell GPU 和服務(wù)器,。

專家模型

Buck 表示,，GPT-4 模型大約有 1.8 萬億個(gè)參數(shù)，由于 AI 擴(kuò)展尚未達(dá)到極限,，參數(shù)數(shù)量還將繼續(xù)增長,。

“人類大腦的規(guī)模大概相當(dāng)于 1000 億到 150 萬億個(gè)參數(shù)，具體數(shù)量取決于個(gè)人,，取決于大腦中的神經(jīng)元和連接,。目前，人工智能的參數(shù)規(guī)模約為 2 萬億……我們尚未進(jìn)行推理,?！盉uck說道。

未來將會(huì)有一個(gè)包含數(shù)萬億個(gè)參數(shù)的大型模型,，在此基礎(chǔ)上會(huì)構(gòu)建更小,、更專業(yè)的模型。參數(shù)數(shù)量越多對(duì)英偉達(dá)越有利,，因?yàn)樗兄阡N售更多 GPU,。

英偉達(dá)正在調(diào)整其 GPU 架構(gòu)，從原來的基礎(chǔ)模型方法轉(zhuǎn)向混合專家模型,。專家混合涉及多個(gè)神經(jīng)網(wǎng)絡(luò)通過相互參考來驗(yàn)證答案,。

Buck說：“1.8 萬億參數(shù)的 GPT 模型有 16 個(gè)不同的神經(jīng)網(wǎng)絡(luò),，它們都試圖回答各自層的部分問題，然后商討,、會(huì)面并決定正確答案是什么,。”

即將推出的 GB200 NVL72 機(jī)架式服務(wù)器配備 72 個(gè) Blackwell GPU 和 36 個(gè) Grace CPU,，專為混合專家模型而設(shè)計(jì),。多個(gè) GPU 和 CPU 相互連接，從而支持混合專家模型,。

“這些家伙都可以相互通信,，而不會(huì)在 I/O 上受阻。這種演變?cè)谀Ｐ图軜?gòu)中不斷發(fā)生,，”Buck 說,。

鎖定客戶的技巧

英偉達(dá)首席執(zhí)行官黃仁勛本月在 HPE 的 Discover 大會(huì)上發(fā)表了一些激烈的言論，呼吁人們購買更多該公司的硬件和軟件,。

英偉達(dá)和 HPE 宣布推出一系列新產(chǎn)品,，其名稱簡單明了，為“Nvidia AI Computing by HPE”,。

“我們?cè)O(shè)計(jì)了小號(hào),、中號(hào),、大號(hào)和特大號(hào),，你可以選擇,。而且正如你所知，你買得越多,，省得越多,，”黃在 Discover 的舞臺(tái)上說道。

黃仁勛今年早些時(shí)候還發(fā)表了另一條備受爭議的言論,，當(dāng)時(shí)他說未來的程序員不需要學(xué)習(xí)如何編寫代碼,。但在 Nvidia GPU 上加載 AI 模型需要了解命令行和腳本，以創(chuàng)建和運(yùn)行 AI 環(huán)境,。

英偉達(dá)的專有言論和在人工智能市場(chǎng)的完全主導(dǎo)地位使其成為反壟斷調(diào)查的目標(biāo),。

當(dāng) Buck 試圖淡化人們對(duì) CUDA 的擔(dān)憂時(shí)，他必須小心謹(jǐn)慎,，他表示“護(hù)城河是一個(gè)復(fù)雜的詞”,。

英偉達(dá)兩位高管都表示，CUDA 是其 GPU 的必備軟件——要最大限度地發(fā)揮 GPU 的性能,，就需要 CUDA,。開源軟件可以與 Nvidia GPU 配合使用，但無法提供 CUDA 庫和運(yùn)行時(shí)的強(qiáng)大功能,。

向下兼容性和連續(xù)性是英偉達(dá)的獨(dú)特優(yōu)勢(shì),，英偉達(dá)對(duì)AI 模型和軟件的支持可以延續(xù)到下一代 GPU,。但對(duì)于英特爾的 Gaudi 等 ASIC 則不然，它們必須針對(duì)每個(gè)新模型重新進(jìn)行調(diào)整,。