作者｜常遠

編輯｜重點君

3月17日凌晨，2026年英偉達GTC大會在圣何塞正式開幕。黃仁勛表示，要支撐未來數(shù)兆美元規(guī)模的智能經(jīng)濟，必須從系統(tǒng)工程的視角重新設(shè)計整個計算堆棧。英偉達正試圖通過全面掌控能源、芯片、基礎(chǔ)設(shè)施、模型、應(yīng)用這五層蛋糕，完成從芯片制造商到AI時代發(fā)電商的歷史性蛻變。

而對于AI時代進程的判斷，黃仁勛拋出了一個極其宏大的產(chǎn)業(yè)愿景：單純的數(shù)字生成時代正在走向深化，我們正在迎來物理AI的大爆炸以及代理式AI的全面普及。如果說過去幾年AI只是在屏幕內(nèi)作答，那么從2026年開始，AI將擁有在三維物理世界中行動與交互的實體能力，并具備自主執(zhí)行復(fù)雜任務(wù)的代理系統(tǒng)。英偉達正試圖通過軟硬一體化的全棧生態(tài)，再次重新定義計算基礎(chǔ)設(shè)施。

我們梳理了這場發(fā)布會的核心信息，以下是重點內(nèi)容：

1. 算力需求重估：到2027年計算市場規(guī)模將突破1萬億美元

黃仁勛在演講中為AI基礎(chǔ)設(shè)施的未來需求定下了基調(diào)：到2027年，全球計算需求將突破1萬億美元大關(guān)。他強調(diào)，在這個全新的AI時代，Token（詞元）就是新的基礎(chǔ)貨幣。生成Token的成本與效率直接決定了科技企業(yè)的營收與生死。英偉達致力于打造全球每Token成本最低的計算方案，因為這關(guān)乎整個行業(yè)運轉(zhuǎn)的經(jīng)濟學底層邏輯。

2.加速計算才是時代答案：Vera Rubin平臺全面接棒計算霸權(quán)

面對外界對摩爾定律終結(jié)的探討，黃仁勛給出的答案是不斷進化的加速計算架構(gòu)。繼Blackwell之后，下一代Vera CPU + Rubin GPU架構(gòu)（Vera Rubin Ultra）正式成為全場焦點。

這一專為AI代理系統(tǒng)打造的平臺展現(xiàn)了驚人的擴展能力，能夠在一個系統(tǒng)中連接多達144個GPU，并實現(xiàn)了硬件與軟件的徹底垂直整合。在能效與回報率方面，這一新架構(gòu)的潛力令人側(cè)目，結(jié)合全面普及的液冷技術(shù)（Liquid Cooling）和封裝光學器件（Co-packaged optics），新架構(gòu)不僅極大優(yōu)化了能耗比，更被預(yù)期能為企業(yè)帶來高達5倍的營收產(chǎn)出比，進一步鞏固了英偉達在數(shù)據(jù)中心領(lǐng)域的絕對統(tǒng)治力。

3. 鞏固圖圖形與生態(tài)護城河：CUDA二十周年積累數(shù)億GPU裝機，DLSS 5也快來了

除了硬核的AI基建，英偉達的傳統(tǒng)藝能同樣在持續(xù)進化。時值CUDA生態(tài)誕生20周年，CUDA已在全球范圍內(nèi)累積了數(shù)億GPU的裝機量，并滲透進了每一個技術(shù)生態(tài)中，飛輪正在以前所未有的速度加速運轉(zhuǎn)。同時，大會還透露了處于研發(fā)前沿的DLSS 5技術(shù)，預(yù)示著基于神經(jīng)渲染的技術(shù)迭代將再次顛覆AI驅(qū)動的圖形和高端游戲體驗。

4. 押注代理式AI：推出NemoClaw，構(gòu)建AI Agent的專用操作系統(tǒng)

在軟件與生態(tài)側(cè)，英偉達正式推出了NemoClaw參考堆棧。這相當于為代理式計算機打造了一個專用的操作系統(tǒng)底座。借助NemoClaw，開發(fā)者能夠在保障底層隱私與安全的前提下，通過簡單的指令快速構(gòu)建、部署和加速屬于自己的個性化AI Agent。這標志著AI的交互邏輯正在發(fā)生根本性轉(zhuǎn)變：從被動響應(yīng)的對話工具，進化為具備自主規(guī)劃和執(zhí)行能力的超級個人助理。

5.物理AI大爆炸：從自動駕駛到具身智能的全面落地

通用語言模型并不是智能的終點，真正的下一代AI必須擁有物理軀殼。黃仁勛強調(diào)了物理AI（Physical AI）的概念，AI必須學會理解重力、摩擦力以及復(fù)雜的三維物理空間。

在自動駕駛領(lǐng)域，比亞迪、現(xiàn)代、日產(chǎn)等頭部車企已紛紛加入英偉達的Robotaxi就緒平臺；而在通用機器人領(lǐng)域，英偉達發(fā)布了專為人形機器人打造的通用基礎(chǔ)模型 Project GR00T。它能夠讓機器人通過觀察人類行為來學習自然語言和模仿動作。此外，英偉達還大幅更新了Isaac機器人平臺，推出了專為機械臂控制和3D視覺環(huán)境感知打造的全新軟硬件庫。英偉達與迪士尼幻想工程合作打造的《冰雪奇緣》雪寶（Olaf）實體機器人也踏上GTC舞臺，與黃仁勛親密互動。

在演講的最后，黃仁勛的愿景已不再局限于傳統(tǒng)的硬件廠商范疇，英偉達正在構(gòu)建統(tǒng)治下一個時代的AI工廠。從底層的Vera Rubin超算集群，到NemoClaw代理操作系統(tǒng)，再到物理機器人生態(tài)，英偉達正試圖包攬AI賦能現(xiàn)實世界的每一層基礎(chǔ)設(shè)施，讓加速計算像一百多年前的電力一樣，徹底融入人類文明的日常運轉(zhuǎn)之中。

 以下為黃仁勛演講內(nèi)容全文：

1. 歡迎來到GTC：探討AI生態(tài)與“五層蛋糕”架構(gòu)

歡迎來到GTC！我只想提醒大家，這是一場技術(shù)大會。這么多人在清晨就排起了長隊，很高興見到在座的各位。在GTC我們將探討技術(shù)與平臺。NVIDIA擁有三大平臺，大家可能以為我們主要討論的是CUDA X，但系統(tǒng)是我們的另一個平臺，現(xiàn)在我們還有一個名為AI Factories的新平臺。我們將討論所有這些內(nèi)容，但最重要的是我們要討論生態(tài)系統(tǒng)。

在開始之前，我要感謝賽前節(jié)目主持人Sarah Go和Alfred Lin，以及NVIDIA的首家風險投資機構(gòu)Sequoia Capital的Gavin Baker。作為首位主要機構(gòu)投資者，他們深耕技術(shù)領(lǐng)域，洞悉行業(yè)動態(tài)，擁有廣泛的技術(shù)生態(tài)系統(tǒng)。當然也要感謝我親手挑選并邀請的各位全明星VIP嘉賓，此外我還要感謝所有到場的贊助公司。NVIDIA是一家平臺公司，擁有技術(shù)、平臺以及豐富的生態(tài)系統(tǒng)。今天這里匯聚了全球100萬億美元產(chǎn)業(yè)的代表，共有450家公司贊助了本次活動，擁有一千場技術(shù)分會和2000位演講嘉賓。

本次大會將涵蓋人工智能五層蛋糕架構(gòu)的每一層，從土地、電力和建筑等基礎(chǔ)設(shè)施，到芯片、平臺和模型，而最終讓整個行業(yè)騰飛的將是所有的應(yīng)用程序。

2. CUDA問世20周年：龐大裝機量驅(qū)動飛輪效應(yīng)

一切都始于這里，今年是CUDA問世20周年。20年來我們一直致力于這一架構(gòu)的研發(fā)。這項革命性的發(fā)明通過單指令多線程編寫標量代碼即可衍生出多線程應(yīng)用，這比SIMD更容易編程。我們最近還添加了Tiles，以幫助開發(fā)者對Tensor Core及當今人工智能基礎(chǔ)數(shù)學結(jié)構(gòu)進行編程。目前已有數(shù)千個工具、編譯器、框架、庫和數(shù)十萬個公開的開源項目，CUDA已經(jīng)深度集成到每一個生態(tài)系統(tǒng)中。最難實現(xiàn)的一點是龐大的裝機量。

我們花了20年時間在全球構(gòu)建起數(shù)以億計運行CUDA的GPU和計算系統(tǒng)，覆蓋了每一個云平臺和計算機公司，服務(wù)于幾乎所有行業(yè)。CUDA的裝機量正是推動飛輪加速轉(zhuǎn)動的核心動力。裝機量吸引了開發(fā)者，開發(fā)者隨后創(chuàng)造出如深度學習等實現(xiàn)突破的新算法。這些突破催生了全新市場并建立起新的生態(tài)系統(tǒng)，吸引更多公司加入，從而創(chuàng)造了更大的裝機量。這種飛輪效應(yīng)目前正在加速，NVIDIA庫的下載量正以驚人的速度增長。這種效應(yīng)不僅讓計算平臺能支持眾多應(yīng)用和突破，還賦予了基礎(chǔ)設(shè)施極長的使用壽命。

有如此多的應(yīng)用可以在NVIDIA CUDA上運行，我們支持AI生命周期的每個階段和每個數(shù)據(jù)處理平臺，加速各種基于科學原理的求解器。正因應(yīng)用范圍如此之廣，一旦安裝NVIDIA GPU，其使用壽命周期就極長。這也是為什么早在六年前出貨的Ampere架構(gòu)在云端的定價依然在上漲。高裝機量、顯著的飛輪效應(yīng)和極廣的開發(fā)者覆蓋范圍，加上我們持續(xù)更新軟件，使得計算成本不斷下降。加速計算極大提升了應(yīng)用速度，隨著我們在軟件生命周期內(nèi)的持續(xù)培育和更新，用戶不僅能獲得初次使用的性能提升，還能獲得加速計算帶來的持續(xù)成本降低。因為裝機量龐大，我們發(fā)布的新優(yōu)化方案能惠及數(shù)以百萬計兼容架構(gòu)的GPU，覆蓋全球用戶。動態(tài)組合擴大了NVIDIA架構(gòu)的影響力，加速增長的同時降低了計算成本并促進新增長，這就是CUDA的核心價值。

但我們的旅程實際上始于25年前的GeForce。GeForce是NVIDIA最偉大的營銷活動，許多人是伴隨它長大的。早在你們自己負擔得起之前，父母就付錢讓你們成為了NVIDIA的客戶，直到有一天你們成為出色的計算機科學家和真正的開發(fā)者。GeForce造就了今天的NVIDIA并孕育了CUDA。25年前我們發(fā)明了全球首款可編程加速器——像素著色器，旨在讓加速器具備可編程性。5年后CUDA誕生了。我們當年傾盡全公司利潤所做的最大投資，就是憑借GeForce將CUDA推廣到每臺電腦上。歷經(jīng)20年和13代產(chǎn)品，CUDA現(xiàn)已無處不在。十年前我們推出了RTX，針對現(xiàn)代計算機圖形時代徹底重新設(shè)計了架構(gòu)。GeForce將CUDA推向世界，也讓眾多先驅(qū)發(fā)現(xiàn)GPU是加速深度學習的良師益友，從而開啟了AI大爆炸。十年前我們決定融合可編程著色技術(shù)并引入硬件光線追蹤，當時我們就認為AI將徹底變革計算機圖形學。正如GeForce將AI帶給世界，現(xiàn)在AI將反過來徹底變革計算機圖形學。

今天我將展示下一代圖形技術(shù)——神經(jīng)渲染，這是3D圖形與人工智能的融合，也就是DLSS 5.0。我們?nèi)诤狭丝煽氐?D圖形、虛擬世界的結(jié)構(gòu)化數(shù)據(jù)與生成式AI的概率計算。結(jié)構(gòu)化數(shù)據(jù)完美受控，結(jié)合生成式AI，創(chuàng)造出精美令人驚嘆且具備可控性的內(nèi)容。這種將結(jié)構(gòu)化信息與生成式AI融合的概念將接連不斷地影響各個行業(yè)，結(jié)構(gòu)化數(shù)據(jù)正是值得信賴的AI的基石。

接下來我們要詳細探討結(jié)構(gòu)化數(shù)據(jù)。大家熟知的SQL、Spark、Pandas、Velox以及Snowflake、Databricks、Amazon EMR、Azure Fabric、Google Cloud BigQuery等超大型平臺都在處理數(shù)據(jù)框。這些數(shù)據(jù)框是巨大的電子表格，保存著企業(yè)計算和業(yè)務(wù)的單一真值。過去我們努力加速結(jié)構(gòu)化數(shù)據(jù)處理，以更低成本和更高頻率讓公司高效運行。未來AI將以極快的速度使用這些結(jié)構(gòu)化數(shù)據(jù)庫。除此之外，還有代表全球絕大部分信息的非結(jié)構(gòu)化生成式數(shù)據(jù)庫，如向量數(shù)據(jù)庫、PDF、視頻和演講等。每年生成的90%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)。直到現(xiàn)在由于缺乏簡便的索引方式且難以理解其含義，這些數(shù)據(jù)一直無法被高效查詢和搜索。

現(xiàn)在我們讓AI來解決這個問題。利用多模態(tài)感知與理解技術(shù)，AI能夠閱讀PDF并理解其含義，將其嵌入到可搜索和查詢的更大結(jié)構(gòu)中。為此NVIDIA創(chuàng)建了兩個基礎(chǔ)庫：用于數(shù)據(jù)框和結(jié)構(gòu)化數(shù)據(jù)的cuDF，以及用于向量存儲和非結(jié)構(gòu)化AI數(shù)據(jù)的cuVS。這兩個平臺將成為未來最重要的平臺，我們正將其深度融入全球復(fù)雜的數(shù)據(jù)處理系統(tǒng)網(wǎng)絡(luò)中。

3. 賦能全球企業(yè)與云服務(wù)：AI時代的加速計算

今天我們將發(fā)布幾項重要合作。IBM作為領(lǐng)域特定語言SQL的發(fā)明者，正在使用cuDF加速watsonx的數(shù)據(jù)處理。60年前IBM推出了開啟計算時代的System/360，隨后SQL和數(shù)據(jù)倉庫構(gòu)成了現(xiàn)代企業(yè)計算的基石。今天IBM與NVIDIA正通過利用GPU計算庫加速watsonx.data的SQL引擎，為AI時代重新定義數(shù)據(jù)處理。由于當前CPU數(shù)據(jù)處理系統(tǒng)已無法滿足AI對海量數(shù)據(jù)集的快速訪問需求，企業(yè)必須轉(zhuǎn)型。例如雀巢每天要做數(shù)千次供應(yīng)鏈決策，在CPU上每天只能刷新幾次匯總了全球交付事件的訂單到現(xiàn)金數(shù)據(jù)集市，而在NVIDIA GPU上運行加速的watsonx后，速度提升了5倍且成本降低了83%。

AI時代的加速計算已經(jīng)到來。我們不僅加速了云端數(shù)據(jù)處理，也加速了本地部署。全球領(lǐng)先的系統(tǒng)和存儲制造商Dell與我們合作，將cuDF和cuVS集成到Dell AI數(shù)據(jù)平臺中以迎接AI時代。我們還與Google Cloud合作加速了Vertex AI和BigQuery。在與Snapchat的合作中，我們將其計算成本降低了近80%。當你加速計算和數(shù)據(jù)處理時，不僅獲得了速度和規(guī)模優(yōu)勢，最重要的是獲得了成本優(yōu)勢。摩爾定律的核心是性能每隔幾年翻倍，但它現(xiàn)在已經(jīng)后勁不足。加速計算讓我們能夠?qū)崿F(xiàn)跨越。

NVIDIA作為一家算法公司，憑借廣泛的市場觸達和龐大的裝機量，通過持續(xù)優(yōu)化算法不斷降低計算成本，為大家擴大規(guī)模并提升速度。NVIDIA構(gòu)建了加速計算平臺并提供RTX、cuDF、cuVS等一系列庫，最終將其集成到全球的云服務(wù)和OEM廠商中觸達全球。這種合作模式正在Google Cloud、Snapchat等平臺上不斷重復(fù)。我們?yōu)樵贘AX、XLA和PyTorch上所做的出色工作感到自豪。我們是全球唯一在這些框架上都表現(xiàn)卓越的加速器。像Baseten、CrowdStrike、Puma、Salesforce等不僅是我們的客戶也是開發(fā)者。

我們將NVIDIA技術(shù)整合到他們的產(chǎn)品中，并將他們帶入云端。我們與云服務(wù)提供商的關(guān)系本質(zhì)就是為他們帶來客戶。大多數(shù)云服務(wù)提供商都非常樂意與我們合作，因為我們將源源不斷地為所有人提供加速。最后，今年讓我非常興奮的一件事是，我們將把OpenAI引入AWS，這將帶動AWS云計算的巨大消耗并擴展OpenAI的計算能力。

在AWS，我們加速了EMR、SageMaker和Bedrock。NVIDIA與AWS進行了深度集成，他們也是我們的首個云合作伙伴。在Microsoft Azure方面，我們?yōu)槠浯蛟觳�安裝了首臺NVIDIA A100超級計算機，這為后來與OpenAI的巨大成功合作奠定了基礎(chǔ)。我們與Azure的合作由來已久，不僅為其云服務(wù)和Bing Search提供加速，還與他們的AIFoundry開展了深度合作。隨著AI在全球范圍內(nèi)的擴展，Azure Regions的合作也變得極其重要。我們提供的一項核心功能是機密計算(Confidential Computing)。機密計算能夠確保操作員無法觸碰或查看數(shù)據(jù)和模型。NVIDIA GPU是全球首款實現(xiàn)該功能的GPU，它能夠支持并在不同云端和地區(qū)安全部署OpenAI和Anthropic等極其寶貴的模型。這一切都要歸功于至關(guān)重要的機密計算技術(shù)。

在客戶合作方面，Synopsis是我們的重要合作伙伴，我們正在加速其所有的EDA和CAU工作流，并落地于Microsoft Azure。我們既是Oracle的首家供應(yīng)商，也是他們的首位AI客戶。讓我非常自豪的是，我首次向Oracle解釋了AI云的概念，并成為了他們的首位客戶，從那時起Oracle便開始騰飛。我們在那里落地了包括Quark、Cohere、Fireworks以及OpenAI在內(nèi)的一大批合作伙伴。CoreWeave是全球首個AI原生云，其建立的核心目標就是在加速計算時代提供并托管GPU，為AI云提供托管服務(wù)。他們擁有出色的客戶群，并且增長速度驚人。

我還非�？春肞alantir和Dell平臺。我們?nèi)�家公司共同努力打造了一種全新類型的AI平臺——Palantir Ontology平臺。該平臺可以在任何國家、任何物理隔離(air-gapped)區(qū)域?qū)崿F(xiàn)完全本地化的現(xiàn)場部署。AI幾乎可以部署在任何地方。如果沒有我們的機密計算能力，沒有我們構(gòu)建端到端系統(tǒng)以及提供整個加速計算和AI堆棧的能力（涵蓋從向量或結(jié)構(gòu)化數(shù)據(jù)處理到AI時代的完整流程），這一切都不可能實現(xiàn)。這些例子展示了我們與全球云服務(wù)提供商之間的特殊合作關(guān)系，他們今天都在現(xiàn)場，我由衷感謝大家的辛勤付出。

4.NVIDIA的公司特質(zhì)：垂直整合但同時橫向開放

NVIDIA是一家垂直整合但同時橫向開放的公司，這是大家會反復(fù)看到的主題。其必要性非常簡單：加速計算不僅僅是芯片或系統(tǒng)的問題，它的核心在于應(yīng)用加速。如果只是讓電腦運行得更快，那是CPU的工作，但CPU已經(jīng)后勁不足了。未來實現(xiàn)巨大性能提升和成本降低的唯一方式，就是通過應(yīng)用或特定領(lǐng)域的加速來實現(xiàn)，即應(yīng)用加速計算。因此NVIDIA必須針對不同的垂直行業(yè)和領(lǐng)域，開發(fā)一個又一個的庫。

作為一家垂直整合的計算公司，我們別無選擇，必須深入理解應(yīng)用、領(lǐng)域和算法的底層邏輯。我們還必須弄清楚如何將算法部署在數(shù)據(jù)中心、云端、本地(on-prem)、邊緣端或機器人系統(tǒng)等各種截然不同的計算系統(tǒng)中。從底層芯片到系統(tǒng)，我們實現(xiàn)了垂直整合。而NVIDIA之所以無比強大，是因為我們橫向開放。我們致力于將NVIDIA的軟件、庫和技術(shù)與合作伙伴的技術(shù)相結(jié)合，集成到任何目標平臺中，從而將加速計算帶給世界上的每一個人。本次GTC大會正是這一理念的絕佳展示。

目前我們擁有觸達各大垂直領(lǐng)域的領(lǐng)域特定庫，以解決各行各業(yè)的關(guān)鍵問題。例如在金融服務(wù)業(yè)（這也是本屆GTC參會人數(shù)最多的群體），算法交易正從依賴人類進行特征工程的傳統(tǒng)機器學習，轉(zhuǎn)向由超級計算機分析海量數(shù)據(jù)并自動發(fā)現(xiàn)洞察與模式，這正是金融業(yè)的深度學習和Transformer時刻。醫(yī)療保健行業(yè)也迎來了ChatGPT時刻。我們正在將AI物理學和AI生物學應(yīng)用于藥物研發(fā)，并開發(fā)用于客戶服務(wù)和輔助診斷的AI Agent。

在工業(yè)領(lǐng)域，我們正在開啟人類歷史上規(guī)模最大的擴建工程，全球大多數(shù)行業(yè)都在建造AI工廠，今天也有許多芯片和計算機制造廠的代表來到現(xiàn)場。在媒體與娛樂方面，實時AI平臺正在支持翻譯、廣播、直播游戲和視頻，絕大部分內(nèi)容都將通過AI進行增強。在量子計算領(lǐng)域，有35家公司正利用我們的Holoscan平臺構(gòu)建下一代量子GPU混合系統(tǒng)。零售和消費品(CPG)行業(yè)正利用NVIDIA優(yōu)化供應(yīng)鏈，并構(gòu)建代理式購物系統(tǒng)和客服AI Agent，這是一個價值35萬億美元的龐大市場。

在規(guī)模達50萬億美元的制造業(yè)機器人領(lǐng)域，NVIDIA已深耕十年，構(gòu)建了重建機器人系統(tǒng)所需的基礎(chǔ)計算機，并與所有主流機器人制造公司展開合作，此次展會我們就展出了110臺機器人。電信行業(yè)的規(guī)模約為2萬億美元，其遍布全球的基站作為上一代計算時代的基礎(chǔ)設(shè)施，即將迎來徹底重塑。未來的基站將成為AI基礎(chǔ)設(shè)施平臺，讓AI在邊緣運行。我們的Aerial(即AIRAN)平臺正在與Nokia、T-Mobile等多家公司開展重大合作。

在這一切的核心是我們自主發(fā)明的CUDA-X庫算法，這是NVIDIA作為一家算法公司的立身之本，也是我們區(qū)別于其他公司的特別之處。算法讓我們能夠深入各個行業(yè)，將世界頂尖計算機科學家解決問題的方法重構(gòu)并轉(zhuǎn)化為庫。在本次展會上，我們將發(fā)布大量庫和模型，這些不斷更新的庫是我們公司的瑰寶，它們激活了計算平臺，真正解決了實際問題。比如引發(fā)現(xiàn)代AI大爆發(fā)的cuDNN，以及用于決策優(yōu)化的cuOPT、計算光刻的cuLitho、直接稀疏求解器的cuDSS、基因組學的Parabricks等上千個CUDA-X庫，正助力開發(fā)者在科學和工程領(lǐng)域取得突破。大家所看到的一切都不是人工動畫，而是基于基礎(chǔ)物理求解器、AI物理模型和物理AI機器人模型的完全模擬。憑借對算法的理解與計算平臺的結(jié)合，NVIDIA作為一家垂直整合且橫向開放的公司，正不斷解鎖新機遇。

如今除了傳統(tǒng)巨頭，還涌現(xiàn)了一大批像OpenAI、Anthropic這樣的AI原生(AInative)初創(chuàng)公司。隨著計算被重新發(fā)明，創(chuàng)投圈向初創(chuàng)企業(yè)投入了史無前例的1500億美元資金。因為歷史上第一次，這些公司全都需要龐大的算力和海量的Token，他們要么自己生成Token，要么為現(xiàn)有的Token增值。正如PC、互聯(lián)網(wǎng)和移動云時代誕生了Google、Amazon和Meta一樣，我們正處于新平臺轉(zhuǎn)型的開端，必將涌現(xiàn)出對未來具有重大影響力的新公司。

過去兩年的爆發(fā)源于三大里程碑。首先，ChatGPT開啟了生成式AI時代，它不僅能感知和領(lǐng)悟，還能翻譯并生成原創(chuàng)內(nèi)容。其次，生成式計算徹底改變了計算的實現(xiàn)方式，從過去的基于檢索轉(zhuǎn)變?yōu)楝F(xiàn)在的生成式，這也深刻改變了計算機的架構(gòu)和構(gòu)建方式。第三是推理AI的崛起，O1和O3模型的出現(xiàn)讓AI能夠反思、獨立思考、分解問題并進行自我驗證，使生成式AI變得更值得信賴且基于事實。這種推理能力大幅增加了上下文輸入和思考輸出的Token使用量，顯著提高了計算量需求。隨后ClaudeCode作為首個智能體模型問世，它能夠自動讀取文件、編寫代碼、編譯測試并迭代，徹底變革了軟件工程。

我們有100%的員工正在使用ClaudeCode、Codex和Cursor等運行在NVIDIA上的AI工具來輔助編寫代碼�，F(xiàn)在，你不再需要詢問AI該做什么，而是直接讓它結(jié)合上下文去創(chuàng)作、執(zhí)行和構(gòu)建。AI已經(jīng)從感知進化到生成，再到推理，如今已經(jīng)能夠真正開展高效的工作。正因為AI終于能夠進行生產(chǎn)性工作，過去兩年市場對NVIDIAGPU的計算需求徹底爆表，盡管我們已經(jīng)大量出貨，但需求仍在持續(xù)攀升。

AI現(xiàn)在必須思考、行動并進行閱讀，而要做到這些，它必須進行推理并進行邏輯推演。AI的每一個部分在思考、行動和生成Token時都必須進行推理。現(xiàn)在早已過了訓(xùn)練階段，我們正處于推理領(lǐng)域，推理的拐點已經(jīng)到來。在這個時刻所需的計算量增加了大約10000倍。在過去的兩年里計算需求增長了10000倍，而使用量可能增長了100倍。相信計算需求在過去兩年里增長了一百萬倍，這也是每一家初創(chuàng)公司、OpenAI和Anthropic的共同感受。如果他們能獲得更多算力就能生成更多Token，營收就會增長，越先進的AI就會變得越聰明。

我們現(xiàn)在正處于這個正向飛輪系統(tǒng)中，推理的拐點已經(jīng)到來。去年此時我說過到2026年Blackwell和Rubin的高置信度需求和采購訂單總額將達到5000億美元。雖然大家可能因為創(chuàng)下年度營收紀錄而對這個數(shù)字不為所動，但我現(xiàn)在要告訴大家，到2027年這一數(shù)字將至少達到1萬億美元。事實上我們將面臨算力短缺，計算需求將遠高于此。

5.NVIDIA的推理之年

我們在過去一年里做了大量工作，2025年是NVIDIA的推理之年。我們希望確保不僅擅長訓(xùn)練和后訓(xùn)練，而且在AI的每一個階段都表現(xiàn)出色。對基礎(chǔ)設(shè)施的投資可以長期擴展，NVIDIA基礎(chǔ)設(shè)施使用壽命長且成本極低。毫無疑問NVIDIA系統(tǒng)是世界上成本最低的AI基礎(chǔ)設(shè)施。去年的一切都是圍繞推理AI展開的，這推動了拐點的到來。同時Anthropic和Meta的Llama等代表全球三分之一AI開源模型算力的平臺都選擇了NVIDIA。開源模型已接近前沿水平且無處不在。NVIDIA是當今世界上唯一能夠跨越所有語言和AI領(lǐng)域運行的平臺，涵蓋生物學、計算機圖形學、計算機視覺、語音、蛋白質(zhì)、化學和機器人技術(shù)等領(lǐng)域。我們的架構(gòu)從邊緣到云端通用，使其成為成本最低且最值得信賴的平臺。

面對一萬億美元的龐大基礎(chǔ)設(shè)施規(guī)模，必須確保投資具有高性能、成本效益和長期使用壽命。你可以滿懷信心地選擇NVIDIA，無論部署在云端、本地還是世界任何地方，我們都能提供支持。我們現(xiàn)在是一個運行所有AI的計算平臺，這已體現(xiàn)在業(yè)務(wù)中。我們60%的業(yè)務(wù)來自前五大超大規(guī)模云服務(wù)商，其中一部分用于內(nèi)部AI消耗。推薦系統(tǒng)和搜索等內(nèi)部工作負載正從傳統(tǒng)方法轉(zhuǎn)向深度學習和大語言模型，這些負載正向NVIDIA極具優(yōu)勢的GPU上遷移。通過與各大AI實驗室合作并擁有龐大的原生生態(tài)系統(tǒng)，我們能將算力帶入云端并被迅速消耗。另外40%的業(yè)務(wù)遍布區(qū)域云、主權(quán)云、企業(yè)、工業(yè)領(lǐng)域、機器人技術(shù)、邊緣計算和超級計算系統(tǒng)等。AI廣泛的觸達范圍和多樣性正是其韌性所在，它現(xiàn)已成為一項基礎(chǔ)技術(shù)和全新的計算平臺變革。

我們的職責是繼續(xù)推動技術(shù)進步。去年作為推理之年，我們在Hopper架構(gòu)巔峰時冒著巨大風險進行了徹底重塑。我們決定將架構(gòu)提升到全新水平，徹底重構(gòu)系統(tǒng)以解耦計算并創(chuàng)造了NVLINK-72。其構(gòu)建、制造和編程方式都發(fā)生了徹底改變。GraceBlackwell和NVLINK-72是一場巨大的賭注，感謝所有合作伙伴的辛勤努力。NVFP4不僅僅是精度上的提升，它代表了完全不同類型的TensorCore和計算單元。我們證明了可以在不損失精度的情況下進行推理并大幅提升性能和能效，同時還能將其用于訓(xùn)練。結(jié)合NVLINK-72、NVFP4、Dynamo、TensorRT-LLM以及一系列新算法，我們甚至投入數(shù)十億美元建造了DGXCloud超級計算機來優(yōu)化內(nèi)核和軟件棧。過去人們常說推理很簡單，但實際上推理是終極難題，也是驅(qū)動收入的核心動力。對AI推理最全面的掃描數(shù)據(jù)顯示每瓦特Token數(shù)至關(guān)重要。每個數(shù)據(jù)中心都受到功率限制，物理法則決定了1吉瓦的工廠不可能變成2吉瓦。因此必須在有限功率下產(chǎn)出最大數(shù)量的Token，力求處于效能曲線的頂端。

推理速度決定了響應(yīng)速度，也就是單次推理的交互性。推理速度越快，能處理的上下文和思考的Token就越多，這等同于AI的智能程度和吞吐量。AI越聰明，思考時間變長，吞吐量就會隨之降低。從現(xiàn)在起，全世界的每一位CEO都會將業(yè)務(wù)視作Token工廠并將其直接與收入掛鉤。在給定功率下，更好的每瓦性能意味著更高的吞吐量和更多的Token產(chǎn)出。NVIDIA擁有全球最高的性能，摩爾定律原本預(yù)期帶來1.5倍的提升，但我們實現(xiàn)了35倍的跨越。

去年我說GraceBlackwell和NVLink72的每瓦性能提升了35倍時沒人相信，甚至有分析師認為我保留實力實際提升高達50倍。這使得我們的每Token成本成為全球最低。如果架構(gòu)錯誤即使免費也不夠便宜，因為建造并分攤一個吉瓦級工廠的成本高達400億美元。必須部署最頂尖的系統(tǒng)以獲得最佳成本效益。通過極致的協(xié)同設(shè)計，我們進行垂直整合并水平開放，將所有軟件和技術(shù)打包給全球推理服務(wù)提供商。

例如Fireworks和Together等平臺增長迅速，生產(chǎn)效能就是他們的一切。在我們更新軟件后系統(tǒng)硬件不變的情況下，平均速度從每秒約700個Token提升到了接近5000個，整整提高了七倍。過去用于存儲文件的數(shù)據(jù)中心現(xiàn)在已經(jīng)變成了受功率限制的Token工廠。推理是新的工作負載，Token是新的商品，計算即收入。未來每一家云服務(wù)和AI公司都將思考其Token工廠的效能，這種智能將由Token來增強。

6.算力十年躍遷與智能體超級引擎

回顧過去十年的發(fā)展，我們在2016年推出了全球首款專為深度學習設(shè)計的計算機DGX-1，八個Pascal架構(gòu)GPU通過第一代NVLink連接提供170Teraflops算力。隨后通過Volta架構(gòu)引入NVLink交換機，將16顆GPU作為巨型GPU運行。隨著模型增長數(shù)據(jù)中心需成為單一計算單元，于是Mellanox加入了NVIDIA。2020年推出的DGXA100SuperPOD結(jié)合了縱向與橫向擴展架構(gòu)。之后開啟生成式AI時代的Hopper架構(gòu)配備了FP8，而Blackwell通過NVLINK-72重新定義了AI超級計算，實現(xiàn)130TB/s的全對全帶寬。

如今智能體系統(tǒng)的算力需求呈指數(shù)級增長。專為智能體AI設(shè)計的VeraRubin推進了計算領(lǐng)域的各個支柱，提供3.6Exaflops算力和每秒260Terabytes的全對全帶寬。搭配專為編排設(shè)計的VeraCPU機架、基于BlueField-4的STX存儲機架、提升能效的Spectrum-X交換機，以及增加Token加速器的Grock-3LPX機架，合力實現(xiàn)了每兆瓦35倍的吞吐量提升。這個包含七顆芯片、五臺機架級計算機的全新平臺，讓算力在短短10年內(nèi)提升了4000萬倍。

過去介紹Hopper時我還能舉起一顆芯片，但VeraRubin是一個需要整體優(yōu)化的龐大系統(tǒng)。智能體系統(tǒng)最關(guān)鍵的是大語言模型的思考過程，模型不斷增大對內(nèi)存和存儲系統(tǒng)產(chǎn)生了巨大壓力，因此我們重新發(fā)明了存儲系統(tǒng)。AI需要工具盡可能快地運行，為此我們打造了全新VeraCPU，它專為極高單線程性能設(shè)計，是全球唯一采用LPDDR5的數(shù)據(jù)中心CPU，能效比傲視群雄。該CPU旨在與機架其他部分協(xié)同進行智能體處理。VeraRubin系統(tǒng)已實現(xiàn)100%液冷，取消了線纜，安裝時間從兩天縮短至兩小時。它使用45度溫水冷卻，大幅降低了數(shù)據(jù)中心的散熱成本與能源消耗。這是目前世界上唯一構(gòu)建到第六代的縱向擴展交換系統(tǒng)，實現(xiàn)難度極高。此外采用共封裝光學技術(shù)的Spectrum-X交換機也已全面量產(chǎn)，光子直接連接芯片硅片，工藝完全是革命性的。VeraCPU作為獨立產(chǎn)品已成為價值數(shù)十億美元的業(yè)務(wù)。

這四個機架組成的系統(tǒng)通過結(jié)構(gòu)化布纜構(gòu)建，極為高效。而RubinUltra計算節(jié)點則更進一步，安裝進名為Kyber的全新機架中，可在一個NVLINK域中連接144個GPU。計算節(jié)點垂直插入中板，不再受限于銅纜的驅(qū)動距離，背面連接NVLINK交換機，組成一臺巨大的計算機。最后再次強調(diào)，在給定的功率下AI工廠的吞吐量和Token生成速度將直接決定明年的收入，這是對AI工廠未來最重要的一項指標。

縱軸是吞吐量，橫軸是Token速率。隨著Token生成速度的提升和模型規(guī)模的不斷擴大，不同應(yīng)用場景對Token和上下文長度的需求也在持續(xù)激增。輸入和輸出的Token長度正從十萬級別向數(shù)百萬級別跨越。這些因素最終都將深刻影響未來Token的商業(yè)化營銷與定價。

Token正在成為一種新的大宗商品。像所有大宗商品一樣，一旦技術(shù)走向成熟并到達拐點，市場就會出現(xiàn)細分。高吞吐量但低生成速度的版本適用于免費層級；中等層級則會提供更大的模型、更快的生成速度以及更長的上下文輸入窗口，對應(yīng)不同的定價區(qū)間。正如大家在各類云服務(wù)中所見，從免費層級到每百萬Token收費3美元、6美元的階梯定價模式已經(jīng)出現(xiàn)。

業(yè)界都在致力于不斷突破能力邊界，因為模型參數(shù)越大就越智能，輸入的上下文越長則相關(guān)性越高。而在更快的生成速度下，系統(tǒng)能更好地進行思考與迭代，從而催生出更聰明的AI模型，每一次性能的躍升都賦予了服務(wù)更高的溢價空間。未來可能會出現(xiàn)收費高達45美元甚至每百萬Token收費150美元的高級模型服務(wù)，專門為處于關(guān)鍵研發(fā)路徑或進行長期復(fù)雜研究、對Token生成速度有極高要求的用戶提供支持。不過從現(xiàn)實來看，如果一個研究團隊每天消耗五千萬個Token，以每百萬150美元計價，這樣的成本是難以承受的。但我們堅信階梯化與細分化就是AI產(chǎn)業(yè)的未來發(fā)展方向。AI技術(shù)必須從確立自身價值和實用性起步，不斷迭代升級，未來大多數(shù)AI服務(wù)都將采用這種多層級的模式。

7. 從Hopper到Vera Rubin：突破性能與吞吐量極限

回顧Hopper架構(gòu)，大家本就預(yù)期下一代產(chǎn)品性能會有所提升，但Grace Blackwell的飛躍幅度超乎所有人想象。Grace Blackwell在免費層級實現(xiàn)了吞吐量的極大提升，而這正是企業(yè)實現(xiàn)服務(wù)變現(xiàn)的核心領(lǐng)域，其吞吐量直接躍升了35倍。正如各行各業(yè)的商業(yè)邏輯一樣：服務(wù)層級越高，對應(yīng)的質(zhì)量與性能越好，但可用容量相對越低。我們在將基礎(chǔ)層級性能提升35倍的同時，還引入了全新的服務(wù)層級，這就是Grace Blackwell相較于Hopper實現(xiàn)的巨大跨越。

接下來登場的是Vera Rubin。在每一個細分服務(wù)層級上我們都實現(xiàn)了吞吐量的飛躍。特別是在平均售價最高、最具商業(yè)價值的頂層細分市場中，我們將吞吐量提升了整整10倍。在頂尖領(lǐng)域?qū)崿F(xiàn)如此幅度的性能跨越是極其艱難的工程挑戰(zhàn)。這正是NVLink72的優(yōu)勢所在，也是極低延遲架構(gòu)帶來的巨大紅利。通過極致的軟硬件協(xié)同設(shè)計，我們成功拔高了整個行業(yè)的技術(shù)上限。

從客戶的實際運營角度來看，假設(shè)一個數(shù)據(jù)中心只有1吉瓦的電力總?cè)萘�，我們需要進行精細的算力分配：比如將各25%的算力分別投入到免費、中級、高級和Premium層級中。免費層級用于獲客，而頂層服務(wù)則面向最具價值的客戶群，兩者結(jié)合最終轉(zhuǎn)化為業(yè)務(wù)營收。在相同的資源限制下，Blackwell架構(gòu)能夠創(chuàng)造五倍以上的收入，而Vera Rubin同樣能實現(xiàn)五倍的營收增長。因此客戶應(yīng)該盡早向Vera Rubin架構(gòu)遷移，這不僅能顯著提升吞吐量，還能大幅降低單Token的生成成本。

8. 擁抱Groq：解耦推理與算力架構(gòu)的深度融合

但我們的追求不止于此。實現(xiàn)超高吞吐量需要海量的FLOPS算力支撐，而實現(xiàn)極低延遲和高頻交互則高度依賴龐大的內(nèi)存帶寬。由于系統(tǒng)芯片的物理表面積總是有限的，計算機架構(gòu)往往難以同時兼顧極高的FLOPS與極致的帶寬。在底層設(shè)計上，優(yōu)化高吞吐量與優(yōu)化低延遲本質(zhì)上是相互矛盾的。

為了打破這一物理瓶頸，我們收購了Groq芯片研發(fā)團隊并獲得了相關(guān)技術(shù)授權(quán)。雙方一直在通力合作整合系統(tǒng)架構(gòu)。如今在最具商業(yè)價值的高端層級中，我們將性能再度提升了35倍。NVIDIA之所以能在絕大多數(shù)AI工作負載中占據(jù)絕對的主導(dǎo)地位，根本原因就在于我們深刻理解吞吐量在這一領(lǐng)域的重要性。NVLink72展現(xiàn)出了顛覆性的架構(gòu)優(yōu)勢，它是目前最正確的技術(shù)路徑，即使在引入Groq技術(shù)后，其核心地位依然堅如磐石。

然而如果我們向外大幅延伸需求場景，假設(shè)你需要提供的服務(wù)不再是每秒400個Token，而是每秒1000個Token的超高速生成，NVLink72受限于帶寬瓶頸將力不從心。這正是Groq大顯身手的領(lǐng)域。Groq技術(shù)超越了現(xiàn)有極限，甚至突破了NVLink72所能觸及的性能天花板。如果將技術(shù)轉(zhuǎn)化為實際收益，Vera Rubin的創(chuàng)收能力是Blackwell的5倍。如果你的主要業(yè)務(wù)是高吞吐量工作負載，我建議100%部署Vera Rubin；但如果你的業(yè)務(wù)涉及大量代碼編寫或極高價值的Token生成任務(wù)，引入Groq將是明智之舉。一種合理的資源配置是將Groq部署在約25%的數(shù)據(jù)中心節(jié)點中，剩余75%全部采用Vera Rubin。通過將兩者深度融合，我們可以進一步拓展系統(tǒng)的性能邊界。

Groq的計算系統(tǒng)之所以極具吸引力，是因為它采用了確定性的數(shù)據(jù)流處理器架構(gòu)。它完全依賴靜態(tài)編譯和編譯器調(diào)度，由軟件預(yù)先精準計算并調(diào)度執(zhí)行時機，確保算力與數(shù)據(jù)同步到達。這種架構(gòu)徹底摒棄了動態(tài)調(diào)度并配備了海量的SRAM，是專門為AI推理這一單一工作負載量身定制的。隨著全球?qū)Τ�智能、高速Token的生成需求呈指數(shù)級爆發(fā)，這種系統(tǒng)集成的價值將日益凸顯。

在這個體系中存在著兩種走向極端的處理器架構(gòu)：一顆Vera Rubin芯片擁有288GB的龐大顯存；而如果要承載Rubin級別的海量模型參數(shù)以及龐大的上下文和KV緩存(KV Cache)，則需要堆疊數(shù)量驚人的Groq芯片。龐大的內(nèi)存需求曾一度限制了Groq進入主流市場，直到我們構(gòu)思出一個絕妙的解決方案——通過一款名為Dynamo的軟件實現(xiàn)完全的解耦推理(Disaggregated Inference)。

我們徹底重構(gòu)了AI推理流水線的執(zhí)行方式。我們將最擅長高吞吐量計算的任務(wù)交給Vera Rubin處理，同時將解碼生成、低延遲響應(yīng)以及受帶寬瓶頸制約的工作負載卸載給Groq。就這樣我們將兩種特性截然不同的處理器完美統(tǒng)一。為了解決海量內(nèi)存需求，我們只需橫向擴展大量Groq芯片來擴充內(nèi)存容量。對于萬億參數(shù)級別的超大模型，我們可以將其完整部署在Groq芯片集群中；同時Vera Rubin在一旁協(xié)同工作，負責存儲處理復(fù)雜智能體(Agentic AI)系統(tǒng)所需的龐大KV緩存。

基于解耦推理的概念，Vera Rubin負責處理相對簡單的預(yù)填充(Pre-fill)環(huán)節(jié)，而Groq則深度參與解碼(Decode)過程。解碼階段中計算密集的注意力(Attention)機制由Vera Rubin承擔，而前饋網(wǎng)絡(luò)(Feedforward Network)以及最終的Token生成則在Groq芯片上執(zhí)行。這兩大系統(tǒng)通過以太網(wǎng)(Ethernet)緊密耦合，并通過特殊傳輸模式將網(wǎng)絡(luò)延遲削減了近一半。在這一強大的硬件底座之上，我們運行了專為AI工廠打造的卓越操作系統(tǒng)Dynamo，最終實現(xiàn)了高達35倍的性能飛躍，更帶來了全球前所未見的Token生成層級推理性能。這就是整合了Groq技術(shù)的新一代Vera Rubin系統(tǒng)。

在此我要特別感謝Samsung。他們?yōu)槲覀兇�工制造了Groq LP30芯片，目前產(chǎn)線正在全力運轉(zhuǎn)，芯片已全面進入量產(chǎn)階段。預(yù)計在今年第三季度左右，我們還將發(fā)布升級版的Groq LPX。

回顧以往，由于NVLink72架構(gòu)的極度復(fù)雜性，Grace Blackwell在早期的樣片測試階段面臨了巨大挑戰(zhàn)；但Vera Rubin的測試工作推進得異常順利。正如Satya所宣布的，第一臺Vera Rubin機架已在Microsoft Azure云平臺上正式點亮運行。我們在全球范圍內(nèi)構(gòu)建了極其強大的供應(yīng)鏈體系，目前每周能夠產(chǎn)出數(shù)千套此類龐大系統(tǒng)，相當于每個月都能交付數(shù)吉瓦規(guī)模的AI工廠基礎(chǔ)設(shè)施。在持續(xù)交付GB300機架的同時，我們也在全面量產(chǎn)Vera Rubin機架。

與此同時Vera CPU也取得了空前的成功。當前AI在執(zhí)行工具調(diào)用(Tool Use)等復(fù)雜操作時，依然高度依賴CPU的指令處理能力，Vera CPU的架構(gòu)設(shè)計完美契合了這一核心訴求。Vera CPU與BlueField數(shù)據(jù)處理器以及CX9網(wǎng)卡深度整合，共同接入了BlueField-4網(wǎng)絡(luò)堆棧生態(tài)。目前全球所有的主流存儲企業(yè)都在積極融入我們的系統(tǒng)生態(tài)。過去是人類在使用SQL查詢調(diào)用數(shù)據(jù)，而未來將是海量的AI智能體在瘋狂讀取存儲系統(tǒng)。這些系統(tǒng)必須能夠無縫支持cuDF加速存儲、cuVS加速存儲以及極其關(guān)鍵的海量KV緩存讀取。

       原文標題 : 黃仁勛GTC完整演講：生成Token的成本與效率，決定科技企業(yè)的營收與生死