随着大模型推理从单轮问答转向多智能体协同，AI系统的瓶颈正从“算力不足”进一步转向“数据搬不动”。在SEMICON Taiwan 2026期间，SK海力士提出以存储器为中心的计算架构：通过CXL近存计算、定制化HBM和DRAM存内计算，把部分计算能力向数据所在位置下沉。公司在现场展示的定制化HBM方案，将部分原本由GPU或ASIC承担的功能移入HBM基础裸片，宣称在特定大型语言模型推理场景下，性能最高可提升5.15倍。
这一方向并非简单在存储器里“塞入更多逻辑”。其核心是降低数据在处理器与存储器之间反复搬移造成的带宽、延迟和能耗开销。SK海力士高级副总裁兼Fellow Hoshik Kim指出，存储器正在从以成本和容量为主要评价指标的通用部件，转变为直接决定系统吞吐、能效和可扩展性的关键架构要素。随着HBM4开始采用先进逻辑制程制造基础裸片，存储器与逻辑计算之间的边界也进一步模糊。
图1：SK海力士提出CXL-PNM、定制化HBM与CuD三条“计算靠近数据”技术路径
HBM4基础裸片逻辑化，为定制计算打开空间
定制化HBM之所以在HBM4时代更具可行性，关键在于基础裸片本身正在从“存储制程配套层”升级为“逻辑功能承载层”。SK海力士与台积电此前已确认，从HBM4开始将采用先进逻辑制程制造基础裸片。与HBM3E及之前产品相比，逻辑制程能够在有限面积内集成更复杂的内存控制、物理接口、TSV连接管理以及客户定制功能，为把部分数据预处理、调度或推理相关操作下沉到HBM内部提供了电路基础。
从系统角度看，这相当于把原本必须送往GPU执行的一部分工作提前在“数据出口”完成。GPU仍承担核心张量计算，但不再需要处理所有数据整理与搬运任务。对于受内存带宽限制的推理场景，这种架构有机会提升GPU有效利用率，并降低数据在GPU与HBM之间来回移动造成的功耗。
不过，5.15倍属于SK海力士在特定架构与工作负载条件下给出的最高推理性能改善值，并不能直接视为所有模型或所有系统的普遍收益。真正的商业效果还将取决于基础裸片可承载的逻辑复杂度、软件栈适配、GPU/ASIC接口设计、封装热预算以及客户愿意为定制化支付的额外成本。
“内存墙”正在从训练阶段转向推理与智能体工作负载
大模型训练长期强调参数规模和算力，但推理阶段的性能约束越来越与上下文长度、并发用户数和KV缓存规模相关。尤其在智能体AI中，一个任务往往需要反复规划、调用工具、读取外部信息并与其他智能体交换状态，Token消耗不再与一次用户提问简单对应。SK海力士在现场展示中指出，多智能体工作流的Token生成量最高可达到传统工作负载的15倍。
这种变化直接放大KV缓存压力。原文给出的场景显示，1000个智能体在32K上下文下运行时，KV缓存容量需求可达到约10.5TB，相当于一套英伟达NVL72系统大约一半的HBM容量。随着上下文窗口继续扩大，内存不仅需要保存模型参数，还要长期驻留对话上下文、中间状态、工具返回结果和多个智能体共享的信息。
因此，AI系统的容量需求开始由“模型有多大”转向“服务有多复杂”。同一个模型在不同智能体数量、并发规模和上下文策略下，对内存容量与带宽的需求可能出现数量级差异。对存储器厂商而言，这意味着HBM未来的价值不仅体现在峰值带宽，也体现在容量、延迟、共享方式和系统级调度能力。
H100与H200说明：同等算力下，内存也能显著改变推理性能
SK海力士以英伟达H100和H200为例说明“算力相同、内存不同”对推理的影响。公司展示数据显示，两款加速器的峰值计算能力相近，但H200拥有约43%更高的内存带宽和约76%更大的HBM容量，在相关推理工作负载中平均性能提升约42%，部分场景最高可提升约90%。
这一比较的意义在于，AI加速器已经进入“增加计算单元不一定等于增加系统性能”的阶段。当模型参数、KV缓存或中间激活无法及时送达计算核心时，更多计算资源可能处于等待状态。提高HBM容量与带宽，实际上是在提高昂贵GPU资源的有效利用率。
对于云服务商而言，这也改变了总拥有成本的计算方式。更大容量的HBM单颗成本更高，但如果能够减少模型切分、降低跨节点通信、提高每台服务器并发能力，最终每Token成本反而可能下降。因此，存储器正在从“成本项”转变为影响AI服务经济性的性能投资。
图2：多智能体AI显著推高Token生成和KV缓存需求，HBM容量与带宽成为推理性能关键指标
数据移动能耗成为关键：从2.5D走向3D堆叠
存算融合的另一个核心驱动力是能耗。Hoshik Kim援引研究指出，从DRAM读取数据所消耗的能量可能远高于执行一次基础算术操作本身。现代AI系统中，大量能源并不是用在“计算答案”，而是用在把数据送到计算单元。HBM通过2.5D封装把存储器放到GPU附近，已经明显缩短数据路径，但随着算力继续提高，2.5D仍存在进一步优化空间。
按照SK海力士现场给出的数据，当前2.5D HBM的数据移动能耗约为每比特2至3皮焦，而未来更紧密的3D架构——例如将DRAM直接堆叠在NPU上方——目标可下降到约0.2至0.3皮焦/比特。若能够实现，这将是数量级的能效改善。
但3D堆叠也会把问题从电气互连转移到热管理、键合良率和散热路径。逻辑芯片与DRAM垂直堆叠后，单位面积功耗密度上升，温度又会影响DRAM可靠性。因此，3D存算融合必须同步解决混合键合、热扩散、已知良品裸片筛选和封装可靠性，不能只追求互连距离更短。
CXL-PNM与共享内存池，瞄准“数据不复制”的另一条路线
除了定制化HBM，SK海力士还把CXL-PNM列为近期更具工程可行性的路径。与把计算直接塞进HBM不同，CXL-PNM把计算能力放在CXL控制器与内存介质附近，通过减少主机CPU/GPU与扩展内存之间的数据往返，改善大容量内存场景的延迟与能效。
这一思路与推理架构中“预填充”和“解码”分离的趋势高度相关。预填充阶段会生成大量KV缓存，解码集群随后需要持续访问这些数据。如果每次都在不同计算集群之间复制KV缓存，会产生额外带宽、延迟和功耗开销。SK海力士提出通过共享内存池，让多个处理器访问同一份数据，从架构层面减少重复搬运。
公司展示了两种演进方向：当前可通过纵向扩展互连建立虚拟HBM池，下一步则可利用CXL构建Fabric Attached Memory内存池。原文还提到阿里云Beluga架构与SK海力士Niagara平台，作为CXL共享内存用于KV缓存、数据传输与资源共享的案例。
从HBM供应商到“AI内存架构参与者”
SK海力士此次展示的真正信号，是其角色定位正在发生变化。过去存储器厂商的核心竞争指标是容量、速率、功耗、良率和单位成本；在智能体AI时代，存储器厂商开始直接讨论工作负载、Token、KV缓存、系统拓扑与推理吞吐，意味着产品定义正在向上游系统架构延伸。
这与SK海力士近年来提出的“定制化HBM”路线一致。公司已明确表示，未来将不再只提供标准化HBM，而会依据GPU、ASIC和客户工作负载，对基础裸片、封装结构及系统接口进行定制。HBM4采用逻辑制程基础裸片后，这一战略获得了更大的实现空间。
对于客户而言，定制化意味着更高性能，也意味着更深绑定。基础裸片功能一旦围绕特定加速器设计，产品验证、软件适配和封装协同都会更复杂，供应商切换成本也更高。因此，未来HBM竞争可能从“谁能率先量产更快的标准产品”，进一步演变为“谁能更早参与客户AI芯片架构共同设计”。
产业观察：AI进入“内存决定有效算力”的阶段
从这次SEMICON Taiwan展示可以看出，AI基础设施的核心矛盾正在从单一计算能力不足，转向计算、内存和数据移动之间的不平衡。GPU性能仍在快速提升，但如果内存容量、带宽和共享效率无法同步提高，新增算力的边际收益会持续下降。
这也是为什么HBM价值不断上升：它不仅提供更高带宽，还逐渐承担基础逻辑、数据预处理、共享内存和系统优化功能。CXL-PNM、定制化HBM和CuD并不是三条互相排斥的路线，而可能分别服务于不同层级——CXL解决容量扩展与共享，定制化HBM优化高带宽本地访问，存内计算则进一步减少数据离开DRAM的需求。
未来真正决定AI系统效率的，不会只是“GPU每秒能算多少次”，而是“多少数据能够以多低的能耗，在正确时间抵达正确的计算单元”。在这一逻辑下，存储器将从处理器的配套部件，转变为AI系统架构的共同设计者。对SK海力士而言，5.15倍推理提升只是一个技术演示数字，更重要的产业信号是：HBM竞争正从带宽和容量竞赛，迈向存算融合与系统级优化阶段。
