芝能智芯出品如果一支工厂的生产线三年提速三倍，运送原料的道路却只扩宽不到两倍，会发生什么？
机器会等待，投资会闲置，更多电力被消耗在搬运而不是生产上。Micron 在 Hot Chips 2026 描绘的 AI"内存墙"，本质上就是这个问题。
按照其演讲中的趋势判断，AI 加速器计算能力大约每两年增长三倍，HBM 带宽同期增长却不到两倍。
计算单元可以做更多乘法，但参数、激活值和 KV Cache 必须先从内存抵达。数据跟不上，理论算力就无法充分转成 Token。
今天比较 AI 芯片不能只看 FLOPS。对于大模型推理，尤其是批量较小、上下文很长的任务，系统可能主要在读取权重和缓存。此时增加计算单元的收益会越来越低，增加内存带宽或减少数据移动反而更有效。
HBM为什么又快又贵
HBM 的做法是把多层 DRAM 垂直堆叠，用数千条硅通孔连接，再用极宽接口靠近 GPU。它不像普通 DDR 那样依赖少量高速引脚，而是同时开出大量"车道"，所以每个堆栈可以提供 TB/s 级带宽。
代价也十分明显。Micron 在演讲中称，在相同容量下，HBM3E 所需硅面积可约为 DDR5 的三倍。它还需要 TSV、减薄、堆叠、测试和先进封装，并占用 GPU 周围珍贵的封装空间。
当一颗 GPU 周围放置八个 HBM4 堆栈时，GPU 与内存合计可能需要超过 12000 平方毫米的封装区域。这里限制系统的，不再只是晶圆上能否刻出更多晶体管，而是封装基板、硅中介层、供电、散热和良率能否承受。
"所有数据都放HBM"不是答案
◎ HBM 快，但容量成本太高；
◎ DDR 容量大，但距离和带宽不理想；
◎ LPDDR 省电，适合部分 CPU 和推理系统；
◎ SSD 更慢，却可以用很低成本保存海量模型与缓存。
于是 AI 内存正在从单一池变成分层系统：最热的权重和 KV Cache 放在 HBM，较热数据放在 DDR 或 LPDDR，更冷的数据进入 SSD。软件必须预测哪些数据马上会用到，提前搬运，并尽量避免反复穿越不同层级。
这有点像城市住房：不可能让所有人都住在公司隔壁的核心地段。合理系统会让最需要低延迟的任务住得最近，同时用交通和调度把其他数据及时送到。
内存墙既是硬件问题，也是软件问题
在高端 GPU 和 HBM 供应都受约束的情况下，国内行业容易把注意力全部放在"获得更多卡"。
但如果软件的批处理、模型并行、KV Cache 管理、量化和内存分层做得不好，同样数量的芯片也会产出更少 Token。
对国产 AI 加速器来说，公开一个峰值算力数字远远不够，在真实模型、真实上下文和真实并发下，内存带宽能被利用多少。
Micron 的立场当然带有内存厂商色彩，AI 时代最稀缺的资源，正在从"能做多少次计算"转向"每焦耳能把多少有用数据送到计算单元"。
