AI智能体时代来了，哪种存储器机会最大？

点击蓝字

关注我们

因为公众号平台更改了推送规则。记得点下右下角的大拇指“赞”和红心“推荐”。这样每次新文章推送，就会第一时间出现在订阅号列表里。

摘要：半导体周期正日益受到内存、存储、网络以及与GPU并行的推理软件的影响。AI训练仍高度依赖HBM，而智能体推理则有望扩大对服务器DRAM、基于LPDDR的内存模块、企业级SSD、CXL内存扩展、光互连以及缓存感知软件的需求。

关键分析要点                                                     

• 结构性驱动因素：自主AI工作负载会增加数据中心各层级的token量、上下文长度、KV缓存驻留时间以及内存带宽需求。 

   

• 更广泛的内存层次结构：HBM对加速器平台仍至关重要，但CPU内存、LPDDR/SOCAMM、企业级SSD、CXL以及软件调度在推理效率方面正变得日益重要。 

  
  

• 供应链瓶颈：先进DRAM节点、TSV、基底芯片、混合键合、散热封装、基板以及高良率HBM生产仍是重要制约因素。 

  
  

• 主要不确定性：未来性能表现取决于AI基础设施需求是否足够持久，以消化更高的内存价格和新增产能。

  
  

行业背景：AI正在加剧内存瓶颈问题

人工智能基础设施常被描述为以GPU驱动的循环。这一点在一定程度上仍然成立，但核心问题在于，人工智能部署的下一阶段正日益受到内存层次结构、缓存管理、存储接近性以及数据传输的限制。在训练工作负载中，HBM带宽至关重要，因为大规模矩阵运算需要快速访问模型数据。而在推理工作负载中，尤其是代理工作流中，内存问题变得更加复杂。

AI智能体可能涉及较长的上下文窗口、多步推理、文档检索、工具使用、代码执行、数据库查询以及跨多个子代理的交互。这些活动会增加token数量，并需要更多持久化的上下文存储。因此，系统层面的瓶颈可能从仅依赖峰值计算，转变为在可接受延迟范围内存储、检索、复用和路由上下文的能力。

KV缓存是关键的技术限制因素。当模型处理长上下文会话或多个并发用户时，KV缓存的内存需求可能变得非常大。如果模型权重和缓存数据与加速器或计算资源的距离不够近，额外的GPU使用可能会带来比预期更差的吞吐量提升效果。

这改变了分析框架。AI基础设施不仅关乎部署的加速器数量，还涉及内存、存储、互连和软件在多大程度上能够高效利用这些加速器。

技术层面：HBM、SOCAMM、eSSD、CXL 和缓存感知软件

HBM仍是人工智能半导体价值链中最重要的产品之一。与传统DRAM不同，HBM需要垂直堆叠的存储芯片、TSV、基板逻辑、先进封装、热控技术，并与GPU或加速器平台进行紧密的兼容性验证。HBM4及后续版本可能因更高的带宽需求、更定制化的逻辑基板、更紧密的物理连接以及更严苛的热结构要求，而增加集成复杂度。

与此同时，推理内存层次结构正在不断扩展。随着AI系统处理更大的上下文窗口、检索增强生成以及键值缓存存储，服务器DRAM、基于LPDDR的SOCAMM模块、CXL内存扩展和企业级SSD都可能变得愈发重要。CPU侧的内存和存储层级或许无法取代HBM，但可以通过处理那些并非总需高端加速器邻近内存的工作负载来与其形成互补。

企业级SSD特别适用于需要高吞吐量数据检索、向量搜索、缓存卸载以及高效移动大规模数据集的推理架构。因此，尽管其产品在内存层次结构中的位置低于HBM，NAND和SSD供应商仍可能受益于AI存储需求的增长。

软件编排也变得越来越重要。通过缓存感知的路由、内存布局、资源调度以及分布式推理框架，可以提高系统利用率，将请求发送至已持有相关上下文或缓存数据的系统节点。在此环境中，软件可成为提升内存层次性能的倍增器。

价值链与战略定位

上游环节包括晶圆产能、先进DRAM节点、逻辑基板、键合工具、TSV加工、底层填充材料、热管理材料、插件芯片以及封装基板。这些因素至关重要，因为HBM的产能无法像传统内存供应那样快速扩展。良率学习、热控技术、基板集成以及封装能力是保障供应可用性的关键。

中层包括HBM、DDR5、LPDDR5X、SOCAMM、企业级SSD、CXL内存扩展和接口芯片。这些产品服务于AI内存层次的不同部分。HBM支持加速器带宽，服务器DRAM和LPDDR有助于支持CPU侧的内存池，企业级SSD支持存储和缓存层级，而CXL可跨服务器架构扩展内存容量。

下游层包括超大规模云服务商、AI云供应商、加速器供应商、企业级AI用户以及管理推理工作负载的软件平台。这些客户越发不仅从每比特成本来评估内存，还关注带宽、延迟、功耗效率、平台兼容性、供应可见性以及系统级吞吐量。

国内在DRAM、NAND、接口芯片、成熟节点代工以及半导体设备领域的供应商，可能会逐步影响存储器及AI相关供应链的部分环节。这并不意味着高端HBM市场竞争会立即改变，但长期来看，可能会影响低端DRAM、成熟节点芯片、电源管理以及本地加速器生态系统的发展。

市场预测与财务展望

若干外部市场参考指向AI基础设施和与内存相关的增长。这些预测在范围和方法上有所不同，因此应将其视为市场方向性估计，而非确定性结果。

财务前景取决于企业所提供的内存层次。符合HBM标准的供应商可能受益于高端需求和客户认证。LPDDR和SOCAMM供应商则可能从CPU侧内存扩展中获益。企业级SSD和NAND供应商若能实现KV缓存卸载以及AI存储层级的扩展，也将从中受益。接口芯片厂商可受益于DDR5、MRDIMM、MCRDIMM和CXL的普及。设备供应商则可能从先进DRAM、键合、刻蚀、沉积、计量及先进封装等高价值转换资本支出中获益。

基于场景的行业框架

AI内存周期具有强烈的结构性驱动因素，但不应将其视为单向趋势。高昂的内存价格可能支撑供应商盈利，但也可能催生架构重新设计的动力。芯片设计者和云服务供应商可能会寻求通过采用以SRAM为主的推理加速器、压缩技术、缓存复用、软件调度、基于SSD的卸载以及内存池化等方式，降低高端内存的使用强度。

一个有用的框架是将三大因素分开：AI工作负载带来的需求增长、先进内存和封装的供应限制，以及架构优化带来的替代压力。这些因素之间的平衡将决定内存周期是持续紧缩，还是逐步恢复正常。

基于情景的行业展望 

乐观情景需要满足多项条件：持续投入人工智能基础设施，HBM和DRAM供应持续受限，HBM4和HBM5开发取得成功，企业对SSD需求强劲，以及缓存感知推理软件应用日益广泛。

谨慎情景则可能表现为超大规模数据中心的资本支出消化、供应增长加快、架构向非高端内存转移、部分内存领域出现中国本土化，或先进封装进展延迟。

由于这两种情况均有可能，因此应通过供需敏感性来评估AI内存产业，而非仅得出单一方向的结论。

风险评估与不利情景

第一个风险是需求弹性。人工智能基础设施支出假设AI工作负载在算力、用户、代理和企业工作流方面将继续增长。如果企业采用放缓或推理经济表现令人失望，内存需求的增长可能弱于预期。

第二个风险是替代。HBM 对训练和高吞吐量加速器工作负载仍然非常重要，但并非所有推理工作负载都需要使用高端 HBM。更高的HBM和DRAM价格可能促使人们采用以SRAM为主的加速器、压缩技术、缓存复用、基于 SSD的卸载以及软件层面的内存优化方案。

第三个风险是本地化驱动的供应。中国目前尚不具备在高端市场取代领先HBM供应商的能力，但国内在DDR、LPDDR、成熟节点代工、接口芯片及设备本地化方面的进展，可能随着时间推移影响内存供应链中的部分环节。

第四种风险是供应链的脆弱性。HBM4和HBM5路线图依赖于先进封装、混合键合、微凸点间距减小、热结构、基板以及逻辑基板芯片验证。这些领域的任何瓶颈都可能导致收入时间表发生变化。

第五种风险是过度承诺。多年期供应协议和产能预留可以提高透明度，但如果供应商在扩大产能后AI需求增长放缓，也可能增加未来的风险。

战略眼光

AI内存复合体很可能是半导体供应链中最重要的领域之一。训练需求使HBM在加速器平台中保持核心地位，而推理需求则进一步拓展了服务器DRAM、LPDDR/SOCAMM、企业级SSD、CXL、光互连以及推理调度软件的作用。

最重要的监测指标包括超大规模企业的资本支出、HBM价格、HBM4认证进展、HBM5研发进度、DRAM合约价格、企业级SSD需求、CXL采用情况、SOCAMM部署、内存接口芯片需求、光互连容量、封装供应以及推理软件效率。

从分析角度来看，AI基础设施的下一阶段不仅仅是更多GPU的问题，而是围绕内存就近访问、缓存重用、上下文持久化、数据移动以及异构计算对数据中心进行更广泛的重新设计。一个平衡的框架应同时考虑内存短缺带来的短期收益，以及高价格可能引发供应增长或架构替代的长期风险。

原文链接：

https://www.capitalsight.net/2026/05/ai-memory-supercycle-hbm-sram-socamm.html

< 长按识别二维码添加好友 >

加入上述群聊

长按并关注

带你走进万物存储、万物智能、

万物互联信息革命新时代

微信号：SSDFans