攀登HBM之巅：AI加速器的内存墙突围战（七）基片物理层扩展引爆二级内存架构革命

中继器物理层——滩前扩展：第二级HBM或LPDDR

在经典HBM配置中，HBM堆栈紧贴XPU的两侧，完全占据了XPU这两个边缘的所有可用空间。另外两个边缘则需留给其他I/O接口（如PCIE）或定制协议（如NVLink或ICI）。如前所述，这使得芯片海岸线区域变得极其珍贵，也成为限制片外总带宽的制约因素之一。

最大化"滩前"面积是布局和封装设计时的首要考量。当我们以传统视角将海岸线视为处理器周长时，设计师早已将其利用到极致。然而，在现有海岸线之外，HBM基片内部还存在一片未经开发的原始海岸线。当我们跳出局限，将HBM基片不再单纯视为承载上方DRAM的物理层，而是看作多芯片模块内具备功能性的逻辑小芯片时，在HBM外沿构筑第二海岸线的构想便豁然开朗。这为创新加速器设计与功能拓展开启了全新的可能性。

后置LPDDR

HBM基片最具吸引力的应用场景之一，是通过增设第二物理层接口来扩展滩前面积，使其在背向XPU的一侧连接另一排内存。

定制化HBM基片的首次实践将见于英伟达Rubin和AMD MI400平台，通过添加封装外LPDDR作为二级内存。这有效利用了HBM基片中的空闲区域，将LPDDR内存控制器置于向外延伸的边缘，从而避免牺牲宝贵的XPU海岸线资源。与CPU主机交互的物理层也需具备数据透传能力，将指向LPDDR的指令与数据传输至该控制器。LPDDR的优势在于成本：每GB价格仅为HBM的五分之一，且无需置于封装内（无论是基板还是中介层）。它可直接部署在XPU的计算板上，通过基板外接PCB走线连接至可插拔的LPCAMM模块。

原则上，该方案要求基片集成逻辑单元以识别非本堆栈地址，并将相关操作传递至二级内存控制器——基片远端预留的物理层空间用于连接背向XPU的LPDDR。这显著增加了内存容量，但带宽相对较低。此类低规格二级内存可承接非带宽敏感型任务，如激活函数、部分键值缓存及特定训练后任务。尤其各实验室重点攻关的训练后领域，其性能主要受内存容量制约。

在HBM后方添加LPDDR构筑二级内存层级，提升整体容量使得系统能存储更大型键值缓存及中间状态，而非仅依赖有限的高带宽HBM。LPDDR无需具备高带宽特性，因其主要作为用户输入响应时的键值缓存暂存区。通常情况下，用户键值缓存会驻留于HBM或CPU内存中。但通过后置LPDDR，用户输入时键值缓存将存储于LPDDR，解码时再转移至HBM。这种新增内存层级有助于满足更长上下文长度带来的内存需求增长，支撑DPO中的配对比较，以及RLHF中策略与验证模型的开销，同时在成本与能效间取得平衡。

后置HBM

更先进的扩展方案是在第一排HBM芯片后方菊链式连接第二排HBM芯片。后置HBM将共享初始堆栈的高带宽。这会稀释每GB带宽占比，但两级内存共享的带宽仍将达到XPU通过DDR风格物理层所能处理的极限带宽。此举增加了HBM容量却未提升带宽——与增加堆栈层数效果类似。

原则上，该方案要求基片包含逻辑单元以识别非本堆栈地址，并将相关操作传递至第二级内存——基片远端预留的物理层空间用于连接背向XPU的第二级内存。这将引发轻微的NUMA效应，因为第二级内存延迟略高，但内存容量可实现翻倍。

若吞吐量与单HBM堆栈完全持平，则可能采用经典DDR风格存储体选择方案（如同通道多DIMM），而非在基片集成复杂智能逻辑，主要实现某种带方向识别（半双工）的重驱动功能。相比链式连接LPDDR6所需的技术，这种基片设计难度要低得多。

理论上第二级内存也可菊链至额外堆栈，但随着边缘带宽趋于饱和及每GB带宽进一步稀释，成本效益将递减。

由于仅一半吞吐量传输至第二排HBM，可放宽位宽要求。若辅以轻度优化的物理层，这类HBM甚至可部署于基板而非中介层之上。这将降低封装成本，加之中介层尺寸扩展难题等因素，使得该方案相比增加HBM堆叠高度获取同等密度更具吸引力——例如：采用两排8层堆叠替代单排16层堆叠。

若采用高性能物理层，两排HBM集合带宽可超越海岸线标准HBM的单个堆栈带宽。这对基片设计提出更高要求，但唯有如此才能在保持滩前面积不变的前提下，实现每芯片HBM容量翻倍。

https://semianalysis.com/2025/08/12/scaling-the-memory-wall-the-rise-and-roadmap-of-hbm/

芯启未来，智创生态

湾芯展2025与您相约！