谷歌再发两颗TPU，AI芯片进入新时代

有时你需要一颗全新的芯片，有时你需要一种新的方式来配置现有的芯片，以更好地适应你的工作负载。谷歌明年将为其同名云平台推出两款全新的TPU加速器，或许还会提供给少数几家能够获得基于谷歌自主研发计算引擎的硬件的直接客户，用于他们自己的数据中心。

具体来说，谷歌今年四月首次发布了“Sunfish”TPU 8t 和“Zebrafish”TPU 8i 加速器的两个新版本。TPU 8t 由博通芯片研发部门应谷歌要求制造，预计目前已开始部署到谷歌数据中心。TPU 8i 由联发科负责研发，今年早些时候曾出现一些延误；目前尚不清楚是否已开始向谷歌发货。这些改进版的 Sunfish 和 Zebrafish 系统预计将于 2027 年安装，我们乐观地预测，部署工作将于 2027 年第一季度开始，并在接下来的一年半内逐步增加产能，直至这些机器在全球多个谷歌云区域投入使用。产能提升需要时间。

例如，在四月份发布 Sunfish 和 Zebrafish 之后到今天这段时间里，谷歌将前代产品“Ironwood”TPU v7p 加速器（原计划于 2025 年第四季度部署供公司内部使用）上线到谷歌云，并在其位于爱荷华州的美国中部区域 (US-Central1) 和位于伦敦以外的欧洲西部区域 (Europe-West2) 公布了价格。我下面的 TPU 价格表包含了这些更新后的价格信息。Ironwood 的剩余容量大约用了一年时间才积累到足够的可用容量，谷歌才能将其放到云端出租。

让我们深入了解一下新的太阳鱼和斑马鱼系统。

TPU 8t 专为运行 AI 训练工作负载而设计，它支持谷歌的 3D 环形互连技术，该技术在共享的一致性内存空间中连接 9600 个加速器，并以 FP4 精度提供惊人的 121 exaflops 运算能力。每个 Sunfish 8i 设备都拥有 216 GB 的 HBM3E 内存，分布在六个堆栈中。这是迄今为止 AI 领域最大的共享内存计算规模，可以肯定的是，谷歌希望从博通和芯片代工合作伙伴台积电 (TSMC) 获得尽可能多的 TPU 8t 加速器，以便训练其 Gemini 前沿模型。

在一次介绍新型 TPU 机器的电话会议上，谷歌人工智能和计算基础设施副总裁兼总经理 Mark Lohmeyer 表示，这些机器被组织成 9600 个单元的 pod，然后组合成一个拥有超过 100 万个 TPU 8t 设备的集群。他还提到，这个集群确实被用于训练 Gemini 4 Carbon 前沿模型。该模型的交付时间略有延迟，令谷歌颇感担忧。Gemini 4 Carbon 由谷歌旗下的 DeepMind 部门开发，于 10 月 28 日发布。Carbon 模型在 Gemini 4 Argon 交付几周后推出，并且在各方面性能都更胜一筹。对于通过 Google Cloud 访问 API 的用户，这两个模型的“入门价格”均为每百万个输入token 2 美元，每百万个输出token 10 美元，缓存的输入token价格则为输入token价格的 5%。

TPU 8tx 是 TPU 8t 的一个特殊版本，它主要面向推理工作负载（尽管在空闲时间它仍然可以进行训练），并进行了两项重大改进。首先，TPU 8t 上的 3D 环面互连被谷歌发明的板蝇互连（蜻蜓互连的一种变体）所取代。板蝇互连旨在创建更紧密耦合、低延迟的互连，以适应推理工作负载——特别是同时运行多个推理流的复杂智能体工作负载。因此，Pod 的加速器数量从 9,600 个减少到 1,152 个。由于互连结构的直径缩小了 8.3 倍，网络更加扁平，基于板蝇拓扑结构（仍然使用相同的专有芯片间互连，即 ICI）的小型系统的平均延迟约为 3D 环面拓扑结构的一半。

TPU 8tx 的另一项变化是，谷歌将自家的 Axion Arm 服务器 CPU 替换为一款未命名的 AMD Epyc 处理器。做出这一改变的原因是 AMD 处理器板载信任根和加密加速器，这使得运行在 TPU 8tx 上的工作负载能够保持加密状态，直至被使用，并在 TPU 处理完成后重新加密。谷歌暗示这是一款定制的 Arm Epyc 处理器，但这可能更多地与核心数量和时钟频率有关。它可能是现有的“Turin” Epyc 9005 处理器，也可能是即将推出的“Venice” Epyc 9006 处理器。谷歌拥有自己的加密和安全处理器，令人费解的是，为什么这项功能还没有集成到 TPU 架构和 Axion 处理器中。我敢打赌，随着 TPU 9 系列和下一代 Axion CPU 的推出，情况将会如此，所以这可能是 AMD 的短期胜利。

谷歌推出的 TPU 8i Max 旨在应对更大规模的上下文 AI 推理工作负载，为此，它将每个插槽中的 Zebrafish 加速器复合体数量翻了一番。然而，与 4 月份发布的初代 TPU 8i 相比，每个插槽的 HBM 内存容量仅提升了 33%。

更准确地说，在芯片层面，最初的 Zebrafish 8i 芯片拥有八个 HBM3（而非更高带宽的 HBM3E）堆栈，总容量为 288 GB，总带宽为 8.6 TB/s。而 TPU 8i Max 则由两个芯片组成，每个芯片的容量仅为 192 GB，但每个芯片的带宽仍然保持在 8.6 TB/s。这意味着每个 Zebrafish 芯片的 HBM3 堆栈数量相同，但每个芯片的容量减少了 33%。这相当于从十二层 HBM3 堆栈减少到八层堆栈。这也意味着，即使每个插槽的绝对内存容量更高，TPU 8i Max 的单位计算能力所拥有的 HBM 内存也比 TPU 8i 更少。这似乎表明，谷歌正在将 HBM3 内存分配分散到更多的 TPU 芯片上，并将两个 Zebrafish 芯片紧密耦合，从而为推理模型提供更大的共享内存空间，用于存储上下文信息和键值缓存。

架构中的一切都是一种权衡，为了提升某些性能而做出一些妥协。这可能会导致部分计算能力被闲置，但这远没有每个插槽内存不足以运行大型上下文那么糟糕。令人费解的是，谷歌竟然没有弃用部分计算能力来平衡性能——或者让联发科和台积电从废料堆里翻出性能低33%的斑马鱼芯片来弥补内存不足的问题。真是匪夷所思。

仔细观察TPU 8i Max卡，你会发现板底的ICI接口与其他TPU 8插槽有所不同。这一点尚未得到解释。

下表汇总了我们所知的 TPU 计算引擎的所有性能参数、速度和定价信息：

现在的问题是，谷歌将如何为 Sunfish 和 Zebrafish TPU 定价。

鉴于 GenAI 市场的弹性取决于推理运行中处理和输出代币成本的不断降低，谷歌对用于训练的 TPU 收取溢价是合理的。TPU 8t 的每浮点运算次数和每 HBM 容量的成本很可能高于 TPU 8i，TPU 8tx 的每小时成本略高于 TPU 8t 和 TPU 8i，而 TPU 8i Max 的每小时成本则略低于 TPU 8i 的两倍。

最后还有一点。谷歌创建了一个名为 TPU Sync 的分层存储管理软件层，该软件层运行在 TPU 之上，旨在最大限度地利用 HBM 内存，同时运行零星且突发的智能体 AI 工作负载。

“这意味着TPU实际上经常有很大一部分时间处于空闲状态，”Lohmeyer解释说。“因此，如果即使这些资源没有被使用，也必须将其占用，这将造成巨大的效率损失，尤其是在这些代理工作负载真正开始大规模扩展时。而这正是TPU Sync旨在解决的问题。”

“它的工作原理是，当代理暂停时，将工作内存从 TPU 芯片上移走；当代理需要恢复处理时，再将工作内存恢复。这显著提高了系统利用率，因为释放这些加速资源后，我们可以将其用于其他任务。因此，利用率可以大幅提升，最终降低每次事务的成本，也就是每个代理工作负载或活动的成本。所以，这正是 TPU 的核心价值主张之一——以尽可能低的成本实现卓越的性能。”

由于 TPU Sync 是软件，谷歌可以将其回溯到更早的 TPU 系统，而且他们也确实这样做了。因此，TPU 5、TPU 6、TPU 7 和 TPU 8 都已支持该功能。目前尚不清楚 TPU Sync 如何在集群中协调数万甚至数百万个 TPU 之间的内存移动。在我看来，上面的图表并没有真正展现数据如何在 HBM、主机 DRAM、主机闪存以及外部闪存和磁盘存储之间来回移动，但显然这是必须的。此外，TPU Sync 能将推理吞吐量提升多少也尚不清楚。我期待看到相关数据。