一颗巨大芯片发布：46225 平方毫米，4万亿晶体管

公众号记得加星标⭐️，第一时间看推送不会错过。

如果你追求的是高速AI推理，那么内存带宽就是需要突破的瓶颈。Cerebras公司餐盘大小的AI加速器拥有惊人的21.6PB/s内存带宽，速度已经比Nvidia或AMD最好的GPU快1000倍。

这家芯片行业新秀周二发布了其新一代晶圆级引擎（WSE）和Nexus机架系统。Cerebras的目标是通过将每瓦吞吐量提升至上一代产品的十倍，进一步扩大其领先优势。

让“T”成为涡轮增压器

Cerebras 通过多种方式实现了这一目标。但据我们所知，其主要手段在于最大限度地利用芯片的每一赫兹性能。新发布的 WSE-3T（其中的“T”代表“Turbo”）承诺其计算能力、内存架构和 I/O 带宽将是两年前发布的 WSE-3的两倍。

然而，如果您查看下图，就会发现它采用的工艺技术、晶圆面积、晶体管数量、核心数量和SRAM容量均与之前相同。这是因为WSE-3T并非采用全新的硅芯片。Cerebras公司表示，它只是对其现有的晶圆级引擎进行了更深入的优化。

这次的主要创新似乎与电源传输有关，其效率显然非常高，能够将两倍的功率输送到芯片上，从而“实现更高的运行频率和更快的代币生成”。

它的频率提高了多少？据我们估计，Cerebras 现在将芯片运行频率提高到了 2.8 GHz，比上一代的 1.4 GHz 有所提升，这将是一项相当大的成就。

总之，每个 WSE-3T 都拥有 250 petaFLOPS 的 AI 计算能力、44 GB 的 SRAM（这不是笔误，它真的有这么多 SRAM），可提供 43.2 PB/s 的内存带宽和 2.4 Tbps 的片外连接。

纸面上的数据听起来比实际情况更令人印象深刻。AMD 和 Nvidia 的最新 GPU 可提供 4 到 5 petaFLOPS 的密集型 FP16 计算能力，或 35 到 50 petaFLOPS 的 FP4 计算能力。Cerebras 的主要性能指标很大程度上依赖于稀疏性，而稀疏性通常不利于 LLM 推理。

假设 WSE-3 的稀疏度与 WSE-3 相同，为 10 倍，则 WSE-3T 的密集 FP16 性能应该接近 25 petaFLOPS，这仍然令人印象深刻，只是没有芯片制造商让你相信的那么令人印象深刻。

我们还怀疑WSE-3T的峰值内存带宽只是理论上的。在LLM推理过程中，WSE-3本身缺乏足够的计算能力来使其SRAM达到饱和，我们没有理由相信Turbo版本会有所不同。

然而，这一次 Cerebras 并没有尝试在自己的加速器上运行整个推理堆栈。相反，它与亚马逊网络服务 (AWS) 和 AMD 合作，将推理管道中计算密集型的提示处理部分卸载到各自的 Trainium XPU 和 Instinct GPU 上。

至少在推理方面，Cerebras 的芯片现在主要用作解码加速器，类似于 Nvidia 在其LPX 机架系统中使用 Groq（不要与埃隆·马斯克的 Grok 系列型号混淆）LPU 的方式。

Cerebras 的主要优势在于其芯片内置了海量的 SRAM。因此，运行一个包含万亿个参数的模型，Cerebras 只需要几十个 LPU 就足够了，具体数量取决于权重存储的精度。

奇怪的是，Cerebras 在本代产品中选择将性能提高一倍，而不是提高 SRAM 容量，而 SRAM 容量自五年前 WSE-2 发布以来就没有显著提高过。

在由GPU处理预填充的解耦推理环境中，我们原本预期Cerebras会优先考虑SRAM容量而非计算能力。然而，鉴于这种解耦计算架构相对较新，Cerebras可能已经投入生产太多，难以做出调整。

这或许可以解释Turbo系列的命名规则。如果Cerebras计划继续沿用这种命名方式，我们预计即将推出的WSE-4（大概还在开发中）在FP16性能提升方面可能只有小幅提升，而SRAM容量则大约翻了一番。如果您感兴趣，可以看看我们姊妹网站The Next Platform对WSE-4外观的一些预测。

Cerebras 走向大规模

Cerebras 最新一代晶圆级加速器也标志着该公司开始认真对待机架级计算架构。

与 Nvidia 的 NVL72 和 AMD 的 Helios 机架类似，Cerebras 的 CS-4 从整体式系统跃升至模块化架构，将计算、电源供应和线缆分离，以便于部署、维护和升级。

该公司的芯片现在被封装在所谓的“背包”外形尺寸中，这是一种将所有控制电子元件集成在板上的独立系统。

每台 CS-4 最多可配备三个这样的扩展电源包，顾名思义，它们插入机架背面，而机架正面则专门用于放置为这台巨型芯片供电的电源架。线缆大概会沿着系统中央走线。我们猜测这可能不符合过流保护 (OCP) 标准，但当你的芯片像一块肉食拼盘那么大时，它本来就不可能符合。

由于每个系统的加速器数量增加了三倍，功耗自然也随之增加。Cerebras公司并未透露机架会消耗多少电量，但表示其更高效的供电方式意味着芯片可以承受两倍的功率。WSE-3芯片本身就已是高功耗芯片，晶圆级功耗为15千瓦，系统级功耗约为23千瓦。这意味着每个CS-4扩展包的功耗可能约为46千瓦，整个系统的功耗可能在120千瓦到140千瓦之间。

几年前，即使对于一台液冷机器来说，这样的功耗也堪称惊人。而如今，与AMD和Nvidia今年晚些时候即将推出的240至250千瓦机架式系统相比，这台机器的功耗简直显得保守了。

弃用交换机，消除延迟

即使每个机架配备 132 GB 的 SRAM 内存，运行任何合理大小的型号仍然需要很多机架，这意味着 I/O 是一个重要的考虑因素。

恰好，新的机架和驱动它们的硅芯片在这方面都得到了大幅升级。

每个芯片的芯片间带宽从 1.2 Tbps 提升至 2.4 Tbps。但更重要的改进在于延迟，得益于一些巧妙的技术，延迟已从 5 微秒降低至仅 2 微秒。

这是因为与严重依赖带宽密集型张量并行和专家并行来倍增其计算和有效内存带宽的 GPU 不同，Cerebras 的芯片速度已经非常快，因此可以使用流水线并行。

流水线并行是多加速器推理中最简单的实现方式之一。模型权重分布在每个加速器上，工作按顺序逐个芯片执行，因此得名流水线并行。虽然互连带宽并非主要问题，但流水线并行确实受益于极低延迟的连接。

Cerebras 能够以非常简单的方式降低互连延迟：去掉所有额外的交换机，让芯片之间直接通信。

这与许多人工智能芯片设计者在机架级设计中采用的做法截然不同。例如，AWS 在其 Trainium3 加速器中放弃了芯片间网状结构，转而采用交换式架构，我们去年底对此进行了详细报道。

Cerebras公司表示，他们使用的是二维环面，可以将其理解为一个两端环绕到另一侧的网格。该公司称，这种拓扑结构可以支持高达50万亿个参数的模型，但据我们所知，目前还没有这样的模型。

对于已经存在的模型，其各个部分的性能似乎相当出色，在单个 CS-4 系统上使用 gpt-oss-120b 算法时，每个用户的速度可达 4,400 tok/s，而目前最快的基于 GPU 的推理服务的速度约为 350 tok/s，这是 Artificial Analysis 的基准测试专家得出的结论。

Cerebras 的新型网状拓扑结构并非强制性的。如果您想使用交换式架构连接芯片，也完全可以。与几乎所有现代芯片一样，它也支持基于融合以太网的 RDMA (RoCE)。但缺点是延迟可能会略高一些。

这家芯片初创公司预计首批基于 CS-4 的系统将于本季度晚些时候上线。

附：4万亿晶体管的WSE-3

于2024年发布的是全球最大的AI芯片，采用台积电5nm工艺，拥有超过4万亿个晶体管和46225平方毫米的硅片面积。

该芯片集成了 90 万个核心和 44GB 内存。Cerebras 所说的内存更接近于 SRAM，而非片外 HBM3E 或 DDR5。内存与核心紧密分布，旨在尽可能地将数据和计算操作紧密结合。

为了便于理解尺寸大小，这里展示的是 WSE-3 和 NVIDIA H100 的对比图。

除了将这款巨型芯片推向市场之外，Cerebras 取得成功的原因之一在于它采用了与 NVIDIA 不同的方法。NVIDIA、AMD、Intel 等公司通常会将一块台积电晶圆切割成更小的芯片来制造芯片，而 Cerebras 则将整块晶圆保持完整。在如今的集群中，数万个 GPU 或 AI 加速器同时处理同一个问题，将芯片数量减少 50 倍以上可以显著降低互连和网络成本以及功耗。在配备 Infiniband、以太网、PCIe 和 NVLink 交换机的 NVIDIA GPU 集群中，芯片的重新连接会消耗大量的电力和成本。而 Cerebras 通过将整个芯片保持完整来避免了这些开销。

以下是对比图。需要注意的是，Cerebras 使用的是片上内存，而不是 NVIDIA 的封装内存，因此我们没有像 H100 那样配备 80GB 的 HBM3 显存作为示例。