SK海力士推出定制HBM，推理性能暴涨515%

SK海力士推出定制HBM，推理性能暴涨515%图1 SK海力士发布了其下一代人工智能（AI）内存技术——“定制型HBM”。该技术将计算功能集成到基础芯片（高带宽内存（HBM）的底层）中。该公司解释说，通过减少数据传输到图形处理器（GPU）进行处理的过程，可以将大规模语言模型（LLM）的推理性能提升高达5.15倍。

据Digitimes和Tech News 9月2日报道，SK海力士副总裁兼内存系统研究主管金浩植（Kim Ho-sik）在前一天的“2026台湾半导体展”上介绍了定制型HBM、基于CXL（Compute Express Link，计算快线）的PNM（近内存计算）、DRAM计算和共享内存等技术。

SK海力士将内存快速迁移作为人工智能发展的核心议题。从“学习”到“推理”的转变。人工智能代理不再止步于生成单个答案，而是重复多个步骤进行推理。在此过程中，存储先前对话和工作内容的“键值缓存”（KV Cache）也会持续累积。

SK海力士估计，在系统自主决策并执行多项任务的“多代理环境”中，生成的词元（人工智能处理句子的最小单位）数量可能比现有工作负载增加高达15倍。

如果1000个代理同时使用32K个上下文（即同时处理约32000个词元的上下文），仅键值缓存就需要约10.5TB。这相当于NVIDIA“Vera Rubin NVL72系统”总HBM容量的一半左右。

问题在于，如此庞大的数据必须在GPU和内存之间持续传输。金副总裁解释说，数据传输消耗的能量计算量可能比实际计算量大数千倍甚至数万倍。

这也是SK海力士提出定制化HBM方案的原因。该方案将一些计算功能集成到HBM的底层芯片中，以便在内存附近处理数据，而无需每次都将其发送到GPU。据称，应用这种结构可以将LLM推理性能提升高达5.15倍。

从当前产品HBM4（第六代）开始，集成此类功能变得更加容易。SK海力士在HBM3E（第五代）之前一直使用自主技术制造芯片，而从HBM4开始，则采用了台湾领先的半导体代工厂台积电（TSMC）的先进逻辑工艺。与传统的内存工艺相比，该逻辑工艺在集成复杂电路和功能方面具有优势。

SK海力士和台积电正在联合开发HBM4芯片和下一代封装技术。

封装结构也在发生变化，以减少数据传输。目前，2.5D结构将 GPU 和 HBM 并排位于同一中介层（芯片连接基板）上进行数据交换。在这种情况下，数据传输所需的能量约为每比特（数据单位）2 至 3 皮焦耳 (pJ)。

在未来的 3D 结构中，DRAM 将直接堆叠在神经网络处理单元 (NPU) 的顶部。这使得数据可以垂直交换，传输距离比以前水平传输更短，从而减少传输距离和功耗。SK 海力士估计，在这种情况下，数据传输能量可以降低到每比特 0.2 至 0.3 pJ。

CXL-PNM 是另一种旨在减少数据传输的技术。CXL 是一种连接不同设备的通信标准，例如中央处理器 (CPU)、GPU 和内存。通过将计算功能集成到通过 CXL 连接的内存设备中，一些计算可以在内存端进行，而无需将所有数据传输到 CPU 或 GPU。

此外，目前正在研究使用内存执行基本计算的技术。 DRAM 自身的电路。

SK 海力士还提出了一种多个计算单元共享内存的架构。这种方法将预填充（输入上下文处理）阶段（AI 计算的初步步骤）创建的 KV 缓存存储在共享内存中，而不是持续地将其复制到解码（答案生成）服务器。

当多个服务器直接访问同一内存时，数据复制次数减少，从而降低了带宽、功耗和处理延迟的负担。SK 海力士解释说，这种方法未来可以扩展到基于 CXL 的“Fabric Connected Memory Pool”（由多个服务器共享的内存空间）。阿里云的“Beluga”和 SK 海力士的“Niagara”被列为相关示例。

韩中工商联盟总会成立于2008年7月20日，由韩国山东商会更名，成员包括中韩两国企业家、政治家、科研专家学者共同发起成立的国际性经贸合作组织。

总会旨在推动中韩两国在经济、科技与产业领域的深度合作与交流，致力于打造高层次、多维度的国际合作平台，促进资源整合与产业协同发展。

在重点发展领域方面，总会积极布局高科技产业板块，涵盖生物医药、人工智能（AI）、半导体与存储等前沿领域。围绕三星电子与SK海力士等全球领先企业的产业资源，推动内存、芯片及相关技术的合作与流通，并协同中国区域内的授权代理公司与供应链体系，促进中韩半导体产业的高效对接与合规发展。

同时，总会广泛汇聚中韩两国在企业、科研、金融及产业界的优质资源，为会员单位提供政策对接、项目孵化、产业落地及跨境合作等全方位支持，持续提升中韩经贸合作的深度与广度。

韩中工商联盟总会旗下芯枢科技有限公司（CoreHub Limited）、芯枢科技（北京）有限公司是立足于香港的半导体存储供应链平台型企业，致力于在全球范围内整合存储芯片资源、优化流通路径并提升产业链配置效率。依托香港作为国际金融、贸易与结算中心的独特优势，公司连接上游核心供应资源与下游关键应用市场，在复杂多变的全球半导体环境中构建稳定、高效且具备前瞻性的流通体系。CoreHub 不仅专注于存储产品的分销与供应，更以平台化思维重塑产业协同方式，通过资源整合、结构优化与价值再分配，逐步形成覆盖多区域、多层级的供应链网络，致力于成为连接产业资源与市场需求的关键枢纽，在全球数字经济与算力时代中发挥长期而持续的基础性作用。