2026 年 8 月 24 日，英伟达宣布 Groq 3 LPX 进入量产。这台机柜的来历不寻常，2025 年圣诞前夜，英伟达花约 200 亿美元买下 AI 推理芯片公司 Groq 的大部分芯片资产，并取得其推理技术的非独家授权，创始团队一并加入（CNBC）。

这台机柜落在路线图上的位置也不寻常。今年 3 月的 GTC，公开路线图里少了一颗芯片，半年前才发布的 Rubin CPX 被拿掉，换上了 Groq 3 LPX。外界把这次换图读成 Groq 交易的直接结果，英伟达没有这样表述过。两者本来也不是同一刀，CPX 打的是预填充，LPX 打的是解码里的权重路径，后面第四节会回到这条线上。

不管怎么读，顶上来的这台机柜有一个很硬的特征，一颗 HBM 都没有。连英伟达都开始躲 HBM，它到底在躲什么？

先划一条边界。LPX 机柜自身不挂 HBM，但这不等于整套推理系统摆脱了 HBM。真正发生的是，解码过程中前馈网络与 MoE 层的权重读取被迁到片上 SRAM，而注意力计算仍留在带 HBM 的 GPU 上。

也就是说，翻查模型知识用极速小内存，回顾上下文用大内存。

英伟达官方还给出另一种配置，由 Rubin 做完预填充、把 KV 缓存交出来，整个解码都放在 LPX 上跑。长上下文、大 KV 的场景更常见的仍是注意力留在 Rubin。

一、先看它拿掉了什么

先交代两个名字。Groq 3 LPU 是芯片，Groq 3 LPX 是由 256 颗 LPU 组成的整柜系统。规格都取自英伟达官网与开发者博客。

单颗 LPU：片上 SRAM 500MB，SRAM 带宽 150 TB/s，96 条芯片间直连链路、每条 112 Gbps，聚合双向互联带宽 2.5 TB/s。芯片由三星代工厂 SF4X 4nm 工艺制造，约 980 亿颗晶体管（工艺与晶体管数出自 Tom's Hardware 与 The Elec）。

一台 LPX 机柜：256 颗 LPU，SRAM 合计 128GB，机柜级 SRAM 带宽 40 PB/s，机柜内直连带宽 640 TB/s，FP8 算力 315 PFLOPS，另配 12 TB DDR5。

作为对照的 Rubin GPU：单卡 HBM4 显存 288GB，带宽 22 TB/s。

三组数摆在一起，最容易被忽略的一项是机柜里那 12 TB DDR5。它说明这套系统并没有取消外挂内存，它只是精准干掉了夹在极速片上缓存（SRAM）与廉价海量存储（DDR5）之间最昂贵的过渡层，HBM。

过去 HBM 一个人干两件事，既给带宽，又给容量。这台机柜把两件事拆开了，带宽交给片上 500MB 的 SRAM，容量交给机柜里 12 TB 的 DDR5，中间那一档 HBM 就没有位置了。一头更快，一头更便宜，被夹掉的是最贵的那一层。

图1｜资料来源：英伟达官网产品页与开发者博客。

性能这一侧有第三方数字。按 Artificial Analysis 的测试，在 Gemma 4 31B、10 万 token 超长上下文的极限测试下，LPX 机柜输出约 3,400 token/秒，英伟达称是第二名的 4 倍。

这个 4 倍要打个折扣看。同一条件下排第二的是 Cerebras，882 token/秒，但它最多只用两张 44GB 的 CS-3，而 LPX 这边至少要 64 颗芯片。比的是机柜吞吐，不是单位硅面积的效率。

二、为什么瓶颈在吐字，及英伟达为什么把吐字环节再切一刀

大模型推理分两段。

预填充，把整段提示词一次读进去算完，算力密集，GPU 天生擅长。解码，一个字一个字往外吐，每吐一个字都要把整套权重读一遍，再加上不断变长的 KV 缓存，算的次数不多，但“翻书”翻得极多。瓶颈因此落在内存带宽上，芯片大部分时间不在算，在等数据。

过去十年的答案始终是同一个方向，把外挂内存做得更快，一路堆到 22 TB/s。Groq 这颗芯片换了个方向，把权重直接放在芯片自己身上。

但英伟达最关键、也最狠的一步在于，它并没有把整个解码工作全扔给 LPU。

英伟达给这套方案起名叫 AFD（注意力与前馈层解耦）。用大白话讲就是，它让两颗芯片在吐字时，打起了一场极速的乒乓球。

GPU 搞定预填充并存好上文记忆；到了吐字阶段，GPU 负责算注意力，LPU 负责算前馈网络与 MoE。每生成一个 token，两边就对抽一拍，交换一次中间结果。

分工线为什么画在算子之间？

看一眼两类计算吃什么就明白了。注意力吃的是不断变长的 KV 缓存，前馈层吃的是固定不变的权重。变长的那部分只能放进容量大的 HBM，固定的那部分才有可能整个塞进片上 SRAM。

三、代价：热的那一层只有 128GB

一个 70 亿参数的模型按 FP8 精度存放，光权重就要约 7GB。单颗 LPU 连一个 7B 模型都放不下。

整柜 256 颗凑出来的 SRAM 是 128GB，一整柜的快存，还顶不上一颗 Rubin GPU 自带的 288GB 显存。

机柜里那 12 TB DDR5 能装下更大的模型，但它慢，接的是主机侧与扩展逻辑，不在大模型生成 token 的关键路径上。真正能高速取用的那一层，一整柜只有 128GB。

这就是 AFD 存在的原因。热层装不下整个模型，那就只把权重固定的那部分放进去，其余留在 HBM 上。模型必须被切开，这一步是容量逼出来的。

代价随之出现在通信环节。同一份规格表里的两个数，每颗 LPU 对内的 SRAM 带宽是 150 TB/s，对外的芯片间互联带宽是 2.5 TB/s，差 60 倍。放大到整柜同样成立，40 PB/s 对 640 TB/s，比例不变。

原来卡住的是芯片到显存，这一段被打通之后，卡住的地方变成了芯片到芯片。但这里有两跳网，不能并成一句话说。

第一跳是柜内“拼图网”。单颗只有 500MB，一层专家的权重必须切到 256 颗上，算完再拼回来，走的是每颗对外 2.5 TB/s、整柜互联 640 TB/s 的芯片间直连。

60 倍那段落差解释的是这一跳，权重必须铺满整柜，指望单颗吃下一层是不可能的。

第二跳是柜间“传球网”。GPU 机柜与 LPU 机柜之间的 AFD 交换走的是以太网量级的机柜间互联，比柜内直连更窄。按英伟达开发者博客的说法，这一跳每个完整注意力层才传一次中间张量。

整柜组织解决的是第一跳，第二跳才决定这套系统能不能按 token 的节奏转起来。

至于必须全液冷，那是 256 颗先进制程大芯片的总功耗与功耗密度决定的，和带宽落差是两件事。

既然要付出容量、互联和功耗三重代价，英伟达为什么还是选了这条路？答案藏在 CPX 不到一年的路线变化里。

四、便宜内存为什么连续失势

2025 年 9 月 9 日，英伟达发布 Rubin CPX，单芯片 30 PFLOPS（NVFP4）、128GB GDDR7，定位是面向大规模上下文处理（英伟达官方新闻稿）。它的核心经济性理由是成本：GDDR7 每 GB 的价格不到 HBM 的一半。

2026 年 3 月，GTC 上 CPX 从公开路线图中消失，Groq 3 LPX 顶上。专用硅从便宜的一侧，换到了昂贵的一侧。

2026 年 8 月 24 日，LPX 进入量产。

2026 年 8 月 31 日，天风国际分析师郭明錤的产业链调研称，英伟达重启了 CPX 项目，计划 2027 年一季度量产；新版把 128GB GDDR7 换成了 168GB HBM4，改用独立的 MGX ETL 机架，可按 64 至 256 颗配置，单颗最大功耗 2,300 瓦，与 Rubin 保持 1:1 配比。

图2｜资料来源：英伟达官方新闻稿与官方博客；2026 年 8 月 31 日一项为郭明錤产业链调研口径，英伟达未公开确认。

四个时间点连起来，比“CPX 被砍了”要说明更多问题。

CPX 当初立项时最站得住的一条理由是用便宜内存省钱，而重启后的第一个动作就是把便宜内存换掉。同一年里，解码中的 FFN/MoE 侧走向了比 HBM 更贵的片上 SRAM，上下文处理侧则从 GDDR7 退回了 HBM4。

两个方向相反的动作指向同一件事，在高价值、低时延的关键路径上，便宜存储暂时没有位置。

注意：这一条是分析师的产业链调研，英伟达没有公开确认，配置细节仍可能变。

同时，澄清一个常见误区，所谓“绕开 HBM”，真实发生的是存储分了层。HBM 并没有在推理里消失，注意力那一半仍然完全依赖它。

五、它押的 SRAM，恰恰是最不肯缩的那种电路

如果只看片上 SRAM 带宽高，这条路早就该走了。它到今天才成立，难在要凑够足以放下权重的容量。SRAM 几乎不随先进制程等比例缩小。

台积电公开的六管 SRAM 单元面积：N5 约 0.021 平方微米，N3 约 0.0199 平方微米，只小了约 5%，N3E 那一版干脆没有缩小；到 N2 才把高密度 SRAM 做到 38.1 Mb/mm²（N3、N5 数据出自台积电 IEDM 论文，N2 数据出自台积电官网研究页）。同一时期，逻辑电路的密度提升要快得多。

Groq 自己的产品线是最直观的注脚：第一代 LPU 用 14nm 工艺做到 230MB 片上 SRAM，这一代换到三星 4nm，做到 500MB。跨越了多个制程节点，容量只翻了两倍出头。

这 500MB 主要不能靠工艺微缩解决，靠的是面积：980 亿颗晶体管做在同一块接近掩模极限的裸片上，SRAM 与计算单元同片，不做 HBM 那样的 2.5D 堆栈。

这一代的现实收益恰恰在这里，这一段可以不排 CoWoS 的队。

但容量再往上走就不好办了。业界讨论中的下一条路，是把 SRAM 裸片键合到计算裸片上。HBM 的工艺难点是把 DRAM 摞起来再和逻辑接在一起，那条路的难点则是把 SRAM 摞起来再和计算接在一起。

难点没有消失，只是从 DRAM 怎么摞，挪到了 SRAM 怎么做进或键合进逻辑。

这里得说清楚，三维 SRAM 目前是下一代的讨论项，不在这台已量产机柜的工艺清单上。

所以国产替代的机会不在于从此不用先进封装，而在于封装形态有可能从 CoWoS 加 HBM，转向大裸片与三维 SRAM。这个新赛道全世界都还在起步，没有谁形成不可动摇的垄断，国内的代工厂和封测厂在这一块有机会跟上。

六、三道坎，六家 A 股公司

国产 AI 芯片眼下最硬的两处约束，一是 HBM，二是先进封装中的 CoWoS 产能。这条路线的意义不是消灭这两样，而是把解码中的一部分关键路径从 HBM/CoWoS 体系里迁出去：权重放在片上，这一段不必买 HBM 堆栈，也不必去排 CoWoS 的队。注意力那一半仍然留在原来的体系里。换来的是三项新的内部约束：能不能做出掩模级的大芯片、能不能把 SRAM 摞起来、能不能把几百颗芯片连成一台机器。

图3｜资料来源：各公司定期报告与公开披露。

下面按三道坎点名六家 A 股公司，标准是在该环节有可核的公开技术表述；长电科技、通富微电、盛科通信三家作为旁证出现在正文里，不进对比表。

坎一，谁来设计这颗芯片。要在单颗芯片上放下几百 MB 的 SRAM、面积逼近掩模极限，还要有一套能把模型按算子切开、把几百颗芯片当成一台机器调度的软件。寒武纪、海光信息、摩尔线程三家都在通用加速卡这条路上，公开材料中都没有单独披露过片上 SRAM 容量。这不代表没做，只代表外部无法核对。

坎二，谁来把这颗大芯片造出来，以及往后谁来把 SRAM 摞起来。掩模级大芯片吃先进逻辑产能，对应中芯国际，关键变量不在总产能，在能否稳定产出接近掩模极限、SRAM 占比极高的大面积裸片，这一项没有公开的良率口径可查。三维集成与键合设备对应拓荆科技，但这是一项相邻能力，不是这台 LPX 当前的工艺，只有当容量下一跳真走到三维 SRAM，它才会进入这条链。再往后的封装厂，长电科技与通富微电上半年归母净利润分别为 8.45 亿元和 17.17 亿元，都在大幅增长，但公开披露中与 SRAM 三维堆叠直接对应的量产表述尚未出现。

坎三，谁来把几百颗连成一台机器。AFD 把最频繁的通信压在芯片之间，互联从配套变成了主角。澜起科技的 PCIe Retimer 与 CXL 解决的是板级与节点内的互连，与机柜内几百颗直连不是同一层，它是这一环上可核的国产存在，离完整答案还有距离。机柜级交换对应以太网交换芯片，盛科通信的 12.8T/25.6T 旗舰芯片支持 800G 端口、已在客户端推广，上半年营收 6.71 亿元、同比增长 32.04%，归母净利 -0.18 亿元，规模与英伟达机柜级互联仍不在同一量级。

下表把六家的位置与最新一期财务放在一起。各家环节不同、口径不同，数据不可相加、不可跨环节互比；未披露不等于未做到。

表里有一处结构性的错位：上半年收入与利润规模居前的几家在芯片设计与晶圆制造两端；而如果容量的下一跳真走三维 SRAM，位置最关键的反倒是当期体量最小的设备端。当期收入反映的是现有产品的销售，这条路线要考的是下一代产品能不能被做出来。

这条路对中国的账因此是这样算的：解码中的一段关键路径被迁出 HBM 与 CoWoS 体系，换来了大裸片良率、往后可能用到的三维 SRAM 堆叠、以及机柜级互联三项内部约束。前两项国内有明确的对应厂商与在建能力，第三项差距最大。窗口是开着的，开的位置在机柜间的系统互联与调度这一层，不是澜起所在的板级 Retimer 那一层。

七、成立的前提，与还没有答案的部分

这条路要走通，有三个前提。一是真的出货，目前可核的只有英伟达 8 月 24 日宣布量产、Nebius 成为首家采用的 AI 云，出货量尚无公开数据。二是账要算得过来，用 256 颗先进制程大芯片换 128GB 热层容量，单位容量的硅成本远高于 HBM，只在高价值、低时延的交互式生成上成立。三是产能要跟得上，这颗芯片由三星代工，黄仁勋的原话是“三星正在尽可能多地生产”，这句话同时说明了需求与供给约束。

三个变量也要留意。掩模级面积加上高频满载的片上存储，功耗密度是另一个量级的问题，整柜全液冷本身就是信号，而这一层没有公开数据；一年之内专用硅先从上下文处理侧换到解码侧、随后上下文处理侧又换了内存，没有理由认为 AFD 这条切法是终点；国内的跟进方式上，迁出 HBM 是这条路的结果，只为迁出而迁出，容易在互联这一侧撞上更硬的墙，而那一侧没有替代方案可选。

回到开头那个问题：连英伟达都开始躲 HBM，它在躲什么？

第一层的答案是，它躲的不是 HBM，是解码中权重读取路径上的带宽饥饿。HBM 已经做到 22 TB/s，仍然喂不饱一个字一个字往外吐的过程，英伟达这次开始系统性地把这段权重搬进芯片自己身上。

第二层的答案是，这一躲并没有躲掉什么，只是换了个地方还账。热层只有 128GB，模型必须按算子切开；每生成一个 token 就要在芯片之间交换一次张量，而芯片对外的带宽只有对内的六十分之一；SRAM 不随制程等比例缩小，容量只能靠掩模级面积和三维堆叠去堆。

内存墙没有被推倒，它被从房子外面挪到了房子中间。

往后值得盯的是三个可观察的信号：芯片公司是否披露片上 SRAM 容量；制造、封装与设备公司是否披露三维堆叠的量产状态与良率；系统或互联公司是否披露机柜级的带宽、时延与规模。三个都还没出现之前，这条路在国内还只是一个方向。