异构推理：AI芯片的结构性机遇！

点击蓝字

关注我们

因为公众号平台更改了推送规则。记得点下右下角的大拇指“赞”和红心“推荐”。这样每次新文章推送，就会第一时间出现在订阅号列表里。

AI硬件的下一个结构转变，并非SRAM取代HBM，而是认识到LLM的推理过程可以分解为多个独立阶段，而每个阶段都对应着不同类型的硅芯片。依赖大量SRAM的加速器，能够占据传统GPU架构在解码子路径上性能最突出的位置。本期内容新增了解码与解码-全连接神经网络（FFN）的深度技术图示，以及对每个token生成步骤实际发生过程的交互式逐步解析。

AI芯片下一个结构机遇并非SRAM取代HBM，而是异构推理——即不同芯片分别承担生成循环中的不同环节，而以SRAM为主的加速器正越来越多地占据解码端的FFN和MoE路径。

概述  

仅靠full-stack LLM推理，SRAM路线的AI芯片难以取胜，但如果能作为解码端带宽受限部分的专业处理器，接入主流GPU、TPU或云端ASIC架构，则可能在战略上变得极具竞争力。

这比“SRAM是AI下一代通用存储层级”这一说法更为具体，也更具可信度——它符合硬件的物理特性、Transformer推理的工作负载特征，以及当前行业发布的趋势方向。

推理并非单一工作负载 

支持异构推理的最强论据始于一个简单的观察：一个Transformer服务栈的行为并不像一个单一的内核那样。从最高层面来看，LLM推理包含三个明显不同的阶段，各具独特的资源瓶颈。

第一阶段 填充预处理 

模型一次性读取整个提示。Q_len = N，因此attention矩阵非常大——大量查询与大量键的匹配。计算开销极大，主要依赖高显存的GPU。

第二阶段 解码attention  

每步生成一个token。查询长度为1，但模型必须对整个KV缓存（所有先前的token）进行attention机制处理。随着上下文和并发用户数量增加，KV缓存会不断增长——这给SRAM的容量带来了压力。

第三阶段 解码FFN

在attention机制之后，每个token会经过前馈层。这些层以高带宽传输模型权重——但权重大小是固定的（不随上下文增长），因此SRAM的带宽优势变得至关重要。

深入解析：解码阶段究竟发生了什么 

“解码阶段”是大多数人接触的推理过程，也就是ChatGPT或Claude逐字输出的生成内容。但硬件在每一步的实际操作比“生成一个词”要复杂得多。以下是单个解码步骤内部发生的过程。

解码中的FFN：为何它成为SRAM的机遇 

在解码的所有操作中，前馈网络（FFN）层对SRAM最友好。要理解原因，首先需要了解FFN的作用及其占用的内存空间情况。

FFN的计算方式：大多数现代Transformer 使用SwiGLU FFN（如Llama、Mistral、Gemma 等）

FFN包含三个权重矩阵。对于Llama-3-70B（d_model=8192，每层d_ff=28，672，共80层）：

每个解码步骤都必须将每层1.4 GB的FFN权重通过计算单元进行流式传输。激活向量（仅8192个浮点数，即16 KB）非常小。这是一个几乎完全受限于内存带宽的问题：计算量最小，内存数据移动最大。其计算过程本质上是：“将1.4 GB的数据拖过内存总线，与一个16 KB的向量相乘。”

算术密集度= 指令数/字节数。对于一个FFN GEMV：2*8192*28672 指令数/ (8192*28672*2 字节) ≈1 指令/字节。H100的峰值比率为约300 指令/字节（BF16）。我们仅使用了可用计算能力的0.3%。唯一重要的是能够多快地传输字节。

固定权重的优势——为何attention更难  

注意力同样需要高带宽，但它存在SRAM无法解决的问题：KV缓存会随着上下文长度和同时处理的批次大小线性增长。以Llama-3-70B为例，当上下文窗口为128K、批次大小为64时：

MoE使FFN论点更加有力 

像Mixtral 8*7B、DeepSeek-V3以及（推测中的）GPT-4这类MoE采用条件路由：每个token仅被发送到N个专家FFN模块中的2至4个，而非全部。这使得“FFN作为SRAM目标”的论点显著增强。

这是SRAM真正起决定性作用的场景：一个由足够小的专家组成的MoE模型，这些专家可集成在芯片上（或至少是热点子集），每个token仅路由至64个专家中的2个。SRAM芯片为这些专家提供约20 TB/s的本地带宽，而GPU则通过HBM处理attention机制以及冷专家的负载。

SRAM的权衡是显而易见的 

采用SRAM的芯片在物理和经济方面做出了非常明确的权衡。它们利用昂贵的片上内存来实现卓越的本地带宽和低延迟，但其容量扩展能力不如基于HBM的系统那样平滑。

“SRAM将取代HBM”在需要长期稳定运行的大容量需求下，从物理和经济角度都难以实现。HBM在容量（每堆144GB以上）和带宽（HBM3e可达4.8TB/s）方面持续扩展。更有力、更持久的主张是：SRAM能在异构堆叠中胜出，解决带宽受限的子问题。 

分阶段的SRAM适配

异构推理：新架构 

异构推理意味着将服务分散到多个硬件类别中，而不是坚持单一平台完成所有任务。新兴的蓝图：

发展现状 

NVIDIA Vera Rubin + Groq 3 LPX 

NVIDIA 2026年3月发布的Rubin 材料描述，Rubin GPU 在处理预填充和解码attention时表现优异，而Groq 3 LPX 则专注于延迟敏感的FFN和MoE解码。这是SRAM 边车理论最清晰、最直接的产品体现。

Groq LPU 

采用片上SRAM作为主要存储。具备确定性、低延迟的推理能力，纯现实场景下展示了SRAM在生产环境中的应用。在中小型模型上表现出色的令牌处理速度。

AWS Trainium + Cerebras 

公开描述的分层推理：Trainium用于预填充，Cerebras用于解码。尚未完全实现仅解码部分使用FFN的划分，但已具备超大规模架构级能力，愿意将不同阶段分配给不同的芯片。

Cerebras是技术上最具戏剧性的案例。CS-3 纳米片级芯片内置 44 GB 的 SRAM 和约 21 PB/s 的内存带宽——这些数据极为惊人。但 44 GB 意味着 Cerebras 能够在 BF16 中存储最多约 20–25亿个参数的模型权重，或在 INT8 下运行更大规模的模型。这在中小型FFN解码中表现优异；但对于 70 亿以上参数的模型，或需要超长上下文attention机制的KV 缓存，则会遇到性能瓶颈。

Cerebras的最佳应用场景深度集成于异构云架构中：另一加速器负责预填充和解码注意力；Cerebras独立承担解码FFN任务，完全避免了KV容量的限制。

但试图作为通用推理替代方案独立存在，却陷入了最棘手的经济问题——大模型的KV容量、长上下文扩展以及整个系统的成本合理性。

最佳反论

• HBM的性能持续提升。HBM3e目前达到4.8 TB/s，而即将推出的HBM4将进一步缩小差距。如果HBM路线图保持不变，SRAM带宽优势将逐渐缩小。（反驳：预计HBM4可达约10 TB/s；SRAM同样具备扩展性，即便达到10 TB/s，仍比20+ TB/s的SRAM落后两倍。）

  
  

• 集成难度高。在芯片之间分割推理任务会引入调度、通信延迟、编译器复杂性以及软件协同问题。GPU与SRAM加速器之间的token向量传递实际上就是一项真正的延迟预算。

  
  

• 经济性取决于利用率。专用芯片只有在运营商能够持续使其运行满负荷时才具有经济效益。解码FFN并非服务时间的全部——空闲时间会损害总体拥有成本（TCO）。

  
  

• 并非所有模型都表现一致。密集型模型、MoE模型、长上下文模型以及代理工作负载对堆栈的压力各不相同。专为MoE FFN解码优化的芯片，在依赖密集型attention的工作负载上可能表现不佳。

  
  

这些反对意见并未彻底否定该论点 

它们只是意味着，SRAM最终占据主导地位的方式很可能是选择性、集成化且依赖软件，而非普适性的。一款芯片若能成功解决一个明确界定的子问题，并与主流生态系统无缝集成，依然是一项巨大的商业机会。 

结论 

AI芯片中的结构性机遇，已不再体现在一种存储技术在纯粹的直接替代竞争中击败另一种技术。而是关乎工作流程的分解。

HBM密集型系统仍是通用性主干架构。而SRAM密集型系统则越来越像专用加速器，用于在带宽受限的解码路径中重新获得性能——尤其是在FFN和MoE解码中，其算术强度接近零且权重占用空间固定。

原文链接：

< 长按识别二维码添加好友 >

加入上述群聊

长按并关注

带你走进万物存储、万物智能、

万物互联信息革命新时代

微信号：SSDFans