AI推理芯片架构，看这一篇就够了！

它们的共同认知是：NVIDIA的GPU专为训练优化（通过大规模并行计算数十亿个参数），而推理则遵循截然不同的逻辑——顺序执行、对延迟敏感，并受限于内存带宽。

到2026年的情况是：Cerebras声称其Llama 3.1 405B版本每用户每秒可处理高达2,500个token；独立数据证实Groq在Llama 3 8B上的推理速度可达每秒877个token。但实际情况更为复杂：Groq于2025年12月被NVIDIA收购，已不再是独立的竞争者；Etched已融资6.2亿美元，却未向任何外部客户交付过单个芯片；而Tenstorrent的实际LLM推理性能仅达到其理论峰值的50%。

为什么GPU不是推理任务的理想芯片

想象一个家具制造车间。如果要生产1000张完全相同的桌子，拥有200名工人并行作业的大型工厂无疑是最佳选择——相当于LLM训练场景。但当一位顾客只提出要一张定制椅子，这200名工人却无法帮助：机器规模过大，无法胜任顺序处理任务，顾客仍需等待第一位工人完成第一步后，才能开始下一步操作。这就是LLM推理场景。

内存带宽瓶颈 

LLM推理以自回归方式逐个生成一个token。在每一步中，模型必须从内存中读取所有参数，以及一个随生成的token而增长的KV缓存。在NVIDIA H100 GPU上，HBM内存带宽为3.35 TB/s。对于一个使用FP16的Llama 3.1 70B模型而言，每步需要读取约140 GB的权重——理论最小延迟约为每token 42毫秒，这意味着在解码模式下，单个用户每秒大约可处理24个token。

结构问题在于：GPU 专为训练而设计，能够最大化计算单元的利用率（如在大批次上进行矩阵乘法）。而自回归推理无法对未来的token进行并行处理——因为这些token尚未生成。在小批次推理时，GPU 的计算能力被大量浪费。

常被混淆的指标词汇

• 吞吐量（aggregate tokens/s）：所有请求的总和，即每秒处理的总token数。属于数据中心和服务器成本指标。通过批量处理可提升性能——越多请求被分组，芯片的使用率就越高。

• 用户单次延迟（tokens/s per user）：单个交互用户所感知到的吞吐量。批量处理不会改善这一指标，相反，更多的并行请求会增加用户单次延迟。这是对话类应用的关键指标。

• 首次token时间（TTFT）：第一个token出现前的延迟时间。对于交互式应用至关重要。

• 每token成本：每生成一个token所产生的基础设施成本。取决于硬件的总体拥有成本（TCO）和能耗。

  
  

简单来说：当供应商宣称“1,000 tokens/s”时，关键问题是：这1,000个token是来自50个同时请求的总和（即每位用户20 tokens/s），还是直接交互中每位用户产生1,000个tokens？两者相差50倍。这两个指标各有其用途，但不能互换使用。

核心理念：消除外部内存总线 

Cerebras选择了最激进的解决方案来解决带宽瓶颈问题：彻底取消外部内存。WSE-3占据了整片300毫米硅晶圆的全部面积——46,225平方毫米，而H100仅占814平方毫米（大了57倍）。它直接集成：

• 4万亿个晶体管（5纳米TSMC工艺） 

• 90万个AI核心（Sparse Linear Algebra核心）

• 44GB片上SRAM——内存直接集成在芯片内部 

• 内存带宽：21 petabytes/s——约为H100 HBM带宽的7000倍

核心理念：通过消除外部内存总线，WSE-3消除了限制GPU推理性能的瓶颈。H100需以3.35TB/s的速度从HBM加载权重，WSE-3则以21 petabytes/s的速度从片上SRAM读取，速度提升约3至4个数量级。

简单来说：H100的HBM内存就像隔壁房间的一间图书馆——你需要离开办公桌才能取书。而Cerebras的片上SRAM就像是你办公桌上的书架，就在同一层架子上，触手可及。两者之间的访问速度差距巨大。

基准测试与三角验证

三角验证：Cerebras并未参与官方的 MLPerf 推理基准测试——标准化对比并不存在。每秒969个和每秒2,522个token的数据来自Cerebras 的沟通信息。目前唯一可获得的部分三角验证来自社区测试（Adam Holter，2026），通过公开的Cerebras API 在Llama4Scout 上确认了约每秒2,600个token的性能。

架构限制：芯片上的44GB SRAM不足以支持非常大的模型（Llama 3.1 405B在FP16下约为800GB）。Cerebras采用分层推理架构：先在AWS Trainium上进行预处理以预填充数据，然后由WSE-3负责解码。

2025-2026 年发展轨迹 

• 2026年1月：OpenAI签署了一份为期多年的合作协议，将获得 750MW的Cerebras 容量，合同金额预计超过100 亿美元。 

• 2026年3月：AWS通过Amazon Bedrock 在其数据中心部署WSE-3，实现首个超大规模云计算平台的集成。 

• 2026年4月：Cerebras 提交了Nasdaq 招股说明书，目标估值至少为350 亿美元，2025年收入为5.1亿美元。 

  
  

确定性架构：零运行时决策 

Groq 发明了LPU（Language Processing Unit），这是对GPU 基础架构的一次根本性突破。与GPU 每个周期都进行决策（硬件调度器管理资源争抢、缓存缺失、分支预测）不同，LPU 完全编译且具有确定性：Groq 编译器（GXCC）在编译时预先计算出完整的执行图，包括芯片间通信，直至每个时钟周期。在运行时，硬件不做出任何决策。

词汇

• 抖动：响应时间的波动性。一个平均延迟为100毫秒、抖动为50毫秒的系统，有时会在50毫秒内响应，有时则需要150毫秒。抖动对交互式应用至关重要——用户会感受到延迟突增。

• 尾部延迟：第99百分位或第99.9百分位的延迟。由于资源竞争，该数值在在GPU上通常是中位数的5到10倍。LPU通过设计消除了这一问题。

• SRAM：片上内存，速度快但成本高且容量有限。外部GPU内存请参见HBM。

  
  

内部LPU架构

• SRAM作为主要工作存储（无HBM或层次缓存） 

• SRAM带宽：超过80 TB/s，而H100 HBM约为8 TB/s 

• 专用执行模块：矩阵（密集张量）、向量（逐点算术）、切换（结构化数据移动）

  
  

简单来说：GPU在运行时像厨师一样即兴发挥，根据冰箱里的食材调整食谱。LPU执行的是精确写好的程序——完全不即兴，无意外延迟，但程序必须完整才能开始运行。

基准测试（独立数据） 

这些数据与单个H100 GPU 解码Llama 3.1 70B 模型约24 tokens/s进行对比（单用户）——Groq 在该模型上的性能约为其12 倍。这一比率与架构上SRAM 相比HBM 的优势一致。

独立公司Groq的终结：英伟达2025年12月收购 

这是2025年的重大变革。英伟达于2025年12月24日以200亿美元收购了Groq。创始人以及大部分工程师均加入英伟达。

具体成果：Groq 3 LPX——作为推理协处理器集成到英伟达的Vera Rubin平台中。LPX机架规格：

• 315 PFLOPS FP8（每机架256个Groq 3 LPU芯片） 

• 总计128 GB SRAM 

• 片上SRAM带宽达40 PB/s 

• AFD（Attention-FFN Disaggregation）架构：Vera Rubin GPU负责预填充和attention计算；LPU负责解码、全连接神经网络及MoE任务 

• NVIDIA声称：相比于竞争解决方案“每兆瓦推理吞吐量提升35倍” 

  
  

简单来说：Groq已不再是独立的挑战者。LPU技术如今已成为英伟达平台的重要组成部分，这强化了英伟达在推理领域的主导地位，而非对其构成挑战。此前使用Groq Cloud服务的客户现在只能通过英伟达生态系统来访问该技术。

RDU：编译完整图，而非单个内核 

SambaNova 的方法与前两种不同。RDU（Reconfigurable Dataflow Unit）不仅加速单个操作（如矩阵乘法、attention机制），更将完整的操作图编译为连续的数据流管道。在GPU执行一系列独立内核（先矩阵乘法，再Softmax，再层归一化）时，RDU则将数百个操作融合为单一调用。

SN40L（2023-2025年，TSMC 5nm，2.5D CoWoS chiplet）：

• 1,040 个模式计算单元(PCU):峰值 638 BF16 TFLOPS 

• 三级内存系统： 

  芯片内PMU SRAM：520 MiB，数百 TB/s 

  共封装HBM：64 GiB，约2 TB/s 

  DDR DRAM：最高可达1.5 TiB，超200 GB/s

  
  

1.5 TiB DDR 内存是其独特之处。它能够使多个超大模型共存于内存中，并且比同等GPU系统快31倍地在这些模型之间切换，这对于CoE部署至关重要，因为多个专用模型会根据请求交替使用。

简单来说：想象一个图书馆，分为三个区域——你桌面上最常使用的书籍（SRAM）、附近书架上的经典著作（HBM），以及隔壁房间的档案资料（DDR）。SN40L 可以直接访问档案区，而无需先清空桌面——这对于拥有超过十亿参数的模型而言，是一大优势。

SN40L 性能测试

最引人注目的数据是：仅使用16块SN40L芯片，DeepSeek-R1 671B达到每秒198个token的性能。相比之下，一个同等配置的GPU系统需要大约130块H100才能支持这个拥有671B参数的模型。

SN50 

于2026年2月发布，额外筹集3.5亿美元：

• TSMC 3nm工艺，双chiplet设计 

• 每颗芯片支持3.2 PFLOPS FP8和1.6 PFLOPS BF16 

• 432 MB片上SRAM / 64 GB HBM2E / 最高支持2 TB DDR5 

• 厂商宣称：Llama 3.3每用户895 tokens/s（FP8），而NVIDIA B200为184 tokens/s

• 英特尔与Xeon CPU平台合作 

预计交付时间：2026年下半年——已公布，但截至本文撰写时尚未交付。SN50数据仍完全为厂商宣称。

仅使用Transformer架构的硬连线设计 

在本次对比中，Etched 是最具颠覆性的方案。Cerebras 使用整片硅片，但仍是相对通用的处理器；而Sohu则是一个纯基于Transformer的ASIC：multi-head attention blocks（QKV投影、Softmax、输出投影）、前馈网络（GELU/SiLU）以及层归一化均被硬连线于硅片之中。Sohu 无法重新编程以适配其他模型类型。

理论优势：最高transformer计算密度。已公布规格（TSMC 4nm）：

• 144 GB HBM3E 

• 声称：在Llama 70B 上用8台Sohu 服务器每秒可处理50 万tokens 

• 据Etched 信息称“可替代160 台H100”

  
  

简单来说：Sohu就像一台专业意式咖啡机，只能完美地冲泡一种咖啡，却无法泡茶、加热食物或做其他任何事情。如果意式浓缩咖啡仍是标准，那它就是一台天才机器；但如果习惯变了，它就只是无用的硬件。

结构上的缺陷：生存的赌注 

自2017年以来，Transformer架构一直占据主导地位，但这只是惯例，并非物理定律。如果该架构发生显著演变（如Post-Transformer、状态空间模型、Mamba风格或混合架构），Sohu将变得毫无用处。这是一场关于Transformer持久性的生存赌注。

资金及实际状态

状态：截至2026年4月，零个客户订单。Manifold Markets的预测（“Sohu会在宣布后一年内发货吗？”）在2025年年中得出否定结论。截至2026年3月，没有任何外部客户收到过Sohu商品。Etched提到有“数千万美元的预订”来自匿名客户。

零独立基准测试：所有引用的性能数据（如50万tokens/s、“20倍于H100”）均为内部模拟得出的理论预测。目前没有任何第三方在真实条件下对Sohu进行过测试。

简单来说：Etched已筹集 6.2亿美元，但既没有交付成果，也没有第三方基准数据，因此其表现最难以评估。该架构可能非常出色，也可能灾难性地失败——目前尚无数据可供判断。所有已公布的性能数据均视为未经验证（无第三方数据支持）。

多市场战略与开源技术 

Tenstorrent是本次对比中最具特色的参与者。其战略由Jim Keller（曾任职于英特尔、AMD、苹果和特斯拉）领导，同时面向多个市场：数据中心推理、边缘与嵌入式推理，以及向其他制造商提供RISC-V IP授权。其软件栈（tt-metal）完全开源，这在专业ASIC生态系统中实属罕见。

Tensix架构：RISC-V + matmul 

Tenstorrent的核心是Tensix内核。每个Tensix集成了一个5核RISC-V CPU（用于任务调度），以及向量单元和矩阵引擎。在Blackhole（2024年，TSMC 6nm）中：

• 每颗芯片配备120个Tensix核心

• 每颗芯片配备32GB GDDR6（非HBM——出于经济考虑的选择） 

• 芯片内有210MB SRAM 

• 支持774 TFLOPS FP8性能（Blackhole p150）

上一代Wormhole n300（仍可购买），集成128个Tensix核心、192MB SRAM和24GB GDDR6。

真实基准测试：理论峰值的50% 

2025年11月，The Register发表了一项对QuietBox的独立测试，该设备是一款售价约1.2万美元的Tenstorrent Blackhole工作站。

• 实际性能：在Llama 3.1 8B 上达到理论峰值的约50% 

• 在LLM 推理过程中，120 个Tensix 核心中有76 个（校正前）未被使用——专为Wormhole 优化的内核尚未移植到Blackhole 

• 单P150 性能 ≈ 测试模型上的Nvidia DGX Spark，尽管Blackhole 在理论上具备2-3 倍优势 

• The Register 的评价：“缺乏针对LLM 推理优化的内核是一个不可原谅的缺陷”

简单来说：Tenstorrent 提供了硬件，但用于利用这些硬件的软件尚未达到理想水平。这就像拥有一台一级方程式赛车发动机却只配了自行车轮胎——动力存在，却无法发挥出来。重要的一点是：tt-metal 正在GitHub 上积极开发，2025年11月的数据并非最终结果。

融资与发展轨迹 

• 筹集资金6.93亿美元（由AFW Partners和三星证券牵头，LG、Fidelity及Bezos Expeditions参与）——估值26亿美元

• 融资时已签署1.5亿美元合同 

• 2025年11月：讨论进行下一轮8亿美元融资，估值32亿美元（由Fidelity牵头） 

• 路线图：每两年硬件更新一次（Blackhole 2024 → 下一代产品计划于2026年左右推出） 

  
  

在比较这些玩家时存在结构性限制：它们均未定期参与MLPerf推理基准测试（这是行业官方基准测试，由独立第三方仲裁）。目前尚无标准化的对比数据。可用的数据来自三个质量不一的来源：

最可靠的数据——人工分析（独立云基准服务）：

简单来说：如果没有MLPerf，2026 年4 月唯一可获得的严格对比基准是Groq 和SambaNova 的人工分析。所有其他数据都应谨慎对待。

AI推理ASIC初创企业市场在2026年正经历一次强制洗牌。三大信号：

首个信号——验证与承诺之间的差距。在生产环境中已获验证的玩家（如Cerebras结合OpenAI和AWS，SambaNova结合DeepSeek及企业客户）与尚未验证的玩家（如Etched，仍基于纯推理的Tenstorrent）之间的鸿沟正在扩大。只要没有外部客户在实际生产中测试过，ASIC就仍被视为一种承诺。

第二个信号——整合已经开始。英伟达以200亿美元收购Groq并非偶然，而是表明LPU技术已足够成熟，值得英伟达将其集成到其Vera Rubin平台上。同时，这也证明了即使拥有业内顶尖的延迟表现，独立于英伟达生存也十分困难。

第三个信号——2026年真正重要的问题。Blackwell GPU（H200、B200、B300）的推理效率提升速度远超预期。现在真正的问题不再是“谁的模型生成速度最快”，而是“GPU推理是否能快速引发成本下降，让超大规模云服务商仍愿意继续使用这些初创公司的产品？还是说，它们都将被内部化，就像AWS（Trainium）、Google（TPU）和Meta（MTIA）那样？”

这里描述的五种架构给出了不同的答案——但市场反应将通过2026至2027年的收入来体现。

原文链接：