GPU，跌落神坛

按制造商划分，GPU 占全球已安装 AI 计算能力的 70%（见图 1），定制芯片占 30%，主要来自谷歌和亚马逊。

过去三年，人工智能计算能力的装机容量增长了17倍。到2023年，英伟达占据了90%的市场份额，谷歌占据了10%。过去三年，定制人工智能计算的市场份额为20%。这种趋势会持续下去吗？（注：Epoch的数据不包括Meta、微软或Cerebras的人工智能计算能力，因为它们的规模相对较小。）

让我们先来看看英伟达强大的产品阵容和近期强劲的增长预期。然后，我们将探讨超大规模数据中心和前沿模型开发商在定制化AI计算方面取得的进展和优势。最后，我们将分析面对日益增长的定制化AI计算性能和竞争，GPU厂商——英伟达和AMD——可以采取哪些措施来维持市场份额。

英伟达拥有令人瞩目的市场需求和强大的系统产品组合。

英伟达于8月26日公布了财报。当天，黄仁勋在接受CNBC采访时表示：

• 需求非常强劲，而且令人难以置信的是，还在加速增长；

• 英伟达预计下一财年将增长 70%（受供应限制）；

• 人工智能现在能为所有人赚钱，所以每个人都想要更多的计算能力；

• 英伟达一半的业务是超大规模数据中心，另一半则是其他所有业务，包括 Neocloud、Sovereign 等；

• 英伟达的GPU具有可互换性，可在整个生命周期内使用，并且能够运行所有型号；

• 云服务提供商表示，他们五年前购买的 AI 计算资源现在更有价值了；

关于 OpenAI 的 Jalapeño 和其他竞争芯片，黄仁勋在接受 Mad Money 采访时表示：“我对此并不介意。现在有很多 XPU 项目发布……很多项目启动，很多项目取消。我们会支持我们的合作伙伴。”

AWS 将购买 200 万个 GPU 和数百万个（Vera）CPU。

每一代英伟达GPU的效率都远超前代。英伟达提供的不仅仅是GPU本身，还包括NVL72纵向扩展网络、机架、低延迟推理选项（Groq 3 LPX）、智能体优化CPU（Vera）、BlueField DPU以及Spectrum-6 SPX横向扩展网络。所有这些组件都经过精心设计，协同工作，从而提供比GPU单独性能更强的提升。在2026年Hot Chips大会上，英伟达发表了五篇关于其各种新芯片的论文，占总数的五分之一。

英伟达在Hot Chips大会上详细介绍了其Vera CPU。Vera针对人工智能代理的低延迟计算进行了优化，这得益于其采用了更大的单线程核心。该公司估计，与“传统”CPU相比，Vera在处理代理工作负载时可提供1.8倍的性能提升。

英伟达的 Vera Rubin 超级计算机已全面投入生产，其机架已在 CoreWeave、谷歌云、微软 Azure、Oracle 云和 Nebius 等平台上运行。英伟达强劲的营收增长以及明年预计 70% 的增长表明，Vera Rubin 的量产有望在 2026 年和 2027 年提升该公司在已安装 AI 计算资源中的份额。

在 Hot Chips 大会上，Nvidia 展示了 Vera Rubin，并展示了与 GB300 相比的帕累托性能（见下图 2）。

数据中心最稀缺的资源之一是电力，因此他们需要更高的每兆瓦吞吐量 (TPS/MW)。许多客户希望在超大型模型上实现极快的响应速度（即更高的每用户吞吐量）。Vera Rubin 正好满足了这两点需求。更高的交互性与更高的价值相关，因此 Vera Rubin 相对于 GB300 的优势在最关键的领域最为显著——高达 30 倍。这得益于众多 GPU 创新，也离不开 Vera Rubin 等创新技术的贡献。

去年，英伟达获得了Groq公司的LPU技术授权，并聘请了Groq的团队，使LPU能够与Vera Rubin作为协处理器协同工作，从而为最重要的工作负载提供更佳的低延迟响应。在Hot Chips大会上，英伟达详细介绍了LPU的架构和编程，并展示了LPU与GPU协同工作的几种方式。如下方基准测试所示（此处使用的是GPT-OSS-2T，而非Deepseek），Vera Rubin + LPU能够实现更低的推理延迟，从而显著提高每用户的TPS。

AMD就其最新GPU和Helios机架进行了两场演示。与之前的GPU相比，该公司显著提升了性能规格。AMD的扩展规模目前已达到72个GPU，并采用博通以太网交换机。Helios是一个完整的机架级系统。与英伟达一样，AMD也为客户提供完整的解决方案。AMD在相对较短的时间内取得了长足的进步，其全球市场份额已从0%增长到6%。遗憾的是，AMD没有提供任何AI工作负载的性能图表。

模型构建者在构建最佳人工智能计算方面是否具有优势？

在Hot Chips大会上，Meta、微软和谷歌详细介绍了各自的后续AI加速器。OpenAI也详细介绍了其首款AI推理加速器Jalapeño，并取得了令人印象深刻的成果。超大规模数据中心/前沿模型开发商承担着大量的工作负载，显然他们希望在自家优化的芯片上运行更多此类任务。

模型开发商拥有巨大的优势。他们比GPU厂商更了解自身的工作负载，他们清楚训练和推理之间的分配比例，更重要的是，他们了解瓶颈所在以及自身的战略方向。而且，他们完全可以利用其庞大的计算能力，对现有芯片、计划中的芯片特性以及英伟达芯片进行详细的基准测试。

超大规模数据中心和模型构建商的大部分计算工作负载都消耗在他们自己的模型上，包括训练和推理服务。此外，谷歌和亚马逊一直在向客户提供甚至出售他们的 TPU/Trainium 芯片，以帮助其云客户的工作负载从 GPU 转移到 TPU/Trainium。

超大规模数据中心/OpenAI/Anthropic 等公司部署的 AI 计算能力规模已经增长了一个数量级。因此，现在针对特定工作负载优化 AI 计算变得经济高效，例如使用专用训练芯片而非专用推理芯片。几年前，开发两款芯片的增量成本可能超过 1 亿美元（其中 3000 万美元用于掩模、工具和团队），这令人望而却步。但如今，如果优化后的芯片能够在每瓦吞吐量提高 10% 到 30%，同时硅片面积缩小 10% 到 30%，那么这种成本就完全可以接受。因为在当前供应紧张的环境下，电力和晶圆是最稀缺的资源，而这种情况很可能会持续到 2030 年。

OpenAI 的首款芯片 Jalapeño 非常出色，演讲者 Richard Ho、Ravi Narayanaswami 和 Chris Leary 也同样令人印象深刻（值得注意的是，他们三人都是 Google TPU 的校友）。

Jalapeño 由一个小型团队在短时间内开发完成，并广泛使用了 OpenAI 的 AI 工具。它针对他们的工作负载进行了优化，但也可以运行任何模型。它主要用于推理。他们决定同时优化预填充和解码，并将键值缓存 (KV Cache) 内存保持在本地。

他们指出，HBM内存的原始容量应该能够实现更高的token化速率。他们的架构设计旨在避免瓶颈，从而充分利用HBM容量。他们期望每一代产品都能做得更好（他们已经在研发第二代产品了）。

他们使用 Broadcom Tomahawk 6 交换机来管理 128 个 Jalapeño 域，使用更多的 Tomahawk 交换机来管理 2048 个 Jalapeño 全球域。

Jalapeño 已经测试了几个月，OpenAI 分享了几个基准测试结果。

由于测试时间有限，Jalapeño 目前的所有基准测试均采用单token预测 (STP)。未来他们将应用多token预测 (MTP)，这将使性能提升 3 到 5 倍。

他们对 GPT-OSS、DeepSeek R1 和 Kimi K2.5 进行了基准测试，并将其与 Nvidia GB300 STP 和 MTP 进行了比较。结果显示，Jalapeño 在所有测试项目中都显著优于 GB300。

Jalapeño 与 Vera Rubin NVL72 相比如何？英伟达的 Vera Rubin 演示文稿显示，它的速度是 GB300 的 2 到 30 倍（低交互性下为 2 倍，极高交互性下为 30 倍）——粗略地将 GB300 的性能曲线调整到这个幅度，就能大致达到 Jalapeño 的性能水平，这表明 Jalapeño 的性能与 Vera Rubin 大致相当。这只是一个粗略的估计。

继 Hot Chips 之后，SemiAnalysis 发布了分析报告，并估计 Jalapeño 似乎将与 Vera Rubin 展开正面竞争。

Jalapeño 是一项了不起的成就。随着更多细节的公布，我们将验证其结果是否可靠。如果属实，OpenAI 可能会尽可能多地生产 Jalapeño，只要 Broadcom 能够提供足够的晶圆——台积电的晶圆配额将决定其数量上限。但 Jalapeño 无法帮助进行模型训练，而模型训练可能占 OpenAI 总计算需求的三分之一以上。

OpenAI 将继续尽可能地获取计算资源，但推进第二代和第三代 Jalapeño 处理器的开发很可能是重中之重。一旦供应限制缓解，Jalapeño 将成为 OpenAI 整体 AI 计算能力中快速增长的组成部分。

有趣的是，英伟达不久前向 OpenAI 投资了 300 亿美元。

Anthropic公司最近聘请了OpenAI硬件团队的关键成员Clive Chan，为其自主研发的AI计算芯片提供支持。Anthropic公司近期公开证实，正在组建内部芯片团队，为Claude人工智能平台设计定制芯片，并称之为“我们多芯片战略的最新进展”。

谷歌从事人工智能计算已有十年之久。TPU  于 2015 年发布，专为推理而优化。TPU  则专注于训练。因此，谷歌长期以来一直在推理和训练之间进行优化，通常每年交替进行训练和推理方面的优化。

现在，谷歌同时推出了用于训练的 TPU 8t 和用于推理的 TPU 8i。由于业务规模已增长了一个数量级，并行制造两款芯片的成本已不再是问题，而且充分利用稀缺的电力和晶圆所带来的优势也十分显著。TPU 8 的性能大约是前代 TPU 的两倍。

TPU 8i 和 8t 的相对尺寸体现了优化训练芯片所带来的成本节约。如果要设计一款能够同时出色地完成推理和训练的单芯片，其体积可能比 TPU 8i 大 10% 到 20%，这主要是因为需要添加训练所需的全部反向传播逻辑。

由于推理和训练的需求不同，它们的互连拓扑结构也不同：

推理过程采用 Boardfly 技术。每个托盘上的四个 TPU 完全连接，然后八个托盘通过铜缆连接成一个组，再将 36 个组完全连接，最终实现 1152 个 TPU 8i 协同工作。最大跳数为 7，以最大限度地降低延迟，这对于推理性能至关重要。虽然 Hot Chips 的幻灯片中没有提及，但谷歌此前曾解释过 Boardfly 使用了光路交换机 (OCS)。

训练采用谷歌传统的 3D 环面。它具有更高的二分带宽，这对训练性能至关重要，但需要多达 16 次跳转。超级训练单元 (Superpod) 中最多可容纳 9,600 个 TPU 8ts，它们使用 OCS 共享内存，从而可以创建任意大小或形状的切片，并轻松绕过任何故障单元。OCS 对训练至关重要。谷歌开发了 Virgo 网络，为最多 134,400 个 TPU 提供全局无阻塞集群架构，以支持最大规模的前沿模型。

TPU 的主要用户包括 Anthropic、OpenAI、Meta 和 Apple。

摩根士丹利近期预测，谷歌的TPU销售额今年下半年将达到90亿美元，2027年将达到840亿美元，2028年将达到1080亿美元。这意义重大。（英伟达最近一个季度的营收为960亿美元，预计下一季度将达到1080亿美元。其中约90%来自数据中心业务。英伟达预计明年将增长70%。）

Google Cloud 服务于非常广泛的客户群体和工作负载。其中许多客户和工作负载仍将继续需要或想要使用 Nvidia GPU。但 Google Cloud 正在努力让他们对迁移到 TPU 产生兴趣。

Meta 的首款 AI 推理加速器是 MTIA，用于加速其与 Facebook、WhatsApp 和 Instagram 合作使用的推荐系统模型。Meta 表示，GPU 并不适合其工作负载，因为这些工作负载包含 TB 级的稀疏嵌入表和内存密集型操作。Meta 的第二款加速器 MTIA 300 专为训练推荐模型而设计。目前，它在批量训练方面展现出比 GPU 略高的性价比。MTIA 400 正在开发中，将同时用于 GenAI 和推荐系统。Meta 的路线图显示，每六个月或更长时间就会推出一款新芯片。Meta 最了解自身的工作负载及其瓶颈所在，因此能够设计出专门针对瓶颈进行加速的硬件。

与此同时，Cerebras公司发布了CS-4，其每用户token处理速度比当前一代CS-3快2倍，每瓦吞吐量更是CS-3的10倍。这对于需要最低延迟模型支持的客户来说至关重要。该公司表示，CS-5将在一年内性能再次翻倍，而CS-6将在后年凭借3D堆叠DRAM技术再次实现性能翻倍！

微软、SambaNova 和 D-Matrix 也展示了他们最新的 AI 计算芯片。

英伟达每年在技术研发和产品推出方面的投入已经超过了任何一家定制人工智能芯片开发商。强劲的营收增长将增加其可用现金。

英伟达正利用其雄厚的资金实力锁定供应。在最近的财报电话会议上，公司高管表示，其供应承诺额已从1190亿美元翻了一番多，达到2790亿美元。英伟达与台积电的强势关系以及雄厚的内存采购资金，使其在未来几年内很可能成为市场主导供应商，因为它能够最大程度地获取最稀缺的资源。

即便如此，英伟达仍然面临供应限制。正如其首席财务官在财报电话会议上指出的那样，如果没有供应限制，明年预计70%的需求增长幅度可能会更大。

供应方面最大的制约因素可能是台积电晶圆分配和HBM供应。

英伟达可以通过研发专用的训练芯片和专用的推理芯片来更好地利用这些稀缺资源。鉴于其强大的芯片制造能力，它甚至可能同时研发通用GPU和仅用于推理或仅用于训练的GPU。

AMD或许会考虑收购Cerebras（其市值仅为AMD的十分之一），以便为需要超低延迟推理的客户提供类似LPX的解决方案。或者，像Etched这样的众多人工智能计算初创公司或许能够以更低的成本提供类似的解决方案。

谷歌表示，OCS是其优势的重要组成部分。英伟达和/或AMD可能会采用OCS来改进其横向扩展甚至纵向扩展网络。（利益相关声明：我是一家OCS公司的董事会成员。）

铜互连技术已接近极限。GPU性能的提升将需要光互连技术。超大规模数据中心运营商较为谨慎，预计会首先采用NPO（非光互连）以降低风险。但NPO的性能无法与CPO（铜互连）相媲美。英伟达和/或AMD可能会尽早将CPO集成到其GPU中，从而提供其他厂商因使用性能较差的NPO/铜互连而无法匹敌的性能。（利益披露：我同时也是一家光引擎公司的董事会成员。）

构建模型能让模型开发者在推理方面占据优势。英伟达投资开发了诸如 Nemotron 之类的开源无权重模型，在 Open Router 追踪的最常用无权重模型排名中，Nemotron 占据了前四名中的三个席位。最近，英伟达与 Poolside 达成了一项价值 70 亿美元的交易，获得了其开源权重模型软件的授权，并聘用了其大部分工程师（超过 100 人）。无权重模型本身并不能为英伟达带来利润，因此 Jensen 必然看到了它们所提供的洞察力以及由此产生的客户参与度的价值。

英伟达拥有强大的竞争优势，但它也拥有资源雄厚的大型客户。未来2到5年内，随着晶圆和HBM的供应超过需求，英伟达（以及AMD）将面临挑战：部分客户可能会开发并使用定制的AI计算来运行自身的工作负载。

Anthropologie 和 OpenAI 的工作负载完全是他们自己的。谷歌和 Meta 的工作负载可能也大部分是他们自己的。亚马逊和微软的工作负载则主要来自他们的客户。英伟达和 AMD 需要继续努力，才能在 AI 计算领域保持领先地位。如果 Jalapeño 在生产部署中的表现能与 Vera Rubin 相媲美（甚至更胜一筹），那将是 GPU 行业的一个重要警示信号。