
英伟达 NVLink Fusion 计划面向定制芯片合作伙伴,提供组件,帮助第三方自研加速器接入 NVLink 互联域,将多颗处理器构建成统一一致性系统,Vera Rubin NVL72 机柜级加速器就是典型案例。如今英伟达为这套生态新增关键组件 ——NVHBM。它属于 AI 加速器所用高带宽内存的定制化方案,并非用来取代通用 HBM 产品,仅面向定制硅片合作伙伴开放。

每栈带宽最高提升 30%,针对带宽瓶颈 AI 负载
NVHBM 是一套定制 HBM 基片,英伟达宣称对比标准 HBM4e,拥有更高带宽、更低功耗,同时可缩减主芯片占用面积。该方案已经和头部存储厂商完成设计与验证,采用 NVHBM 的定制芯片开发商,相比从零适配通用 HBM,能够缩短产品落地周期。
内存带宽是 AI 加速器的核心指标。NVHBM 单栈带宽相比标准 HBM4e 最高提升 30%,对于带宽受限的 AI 业务,带宽提升可以直接带来吞吐上涨,例如推理场景下更高的 Token 输出速率。
控制器下沉至 HBM 基片,主芯片计算面积最高释放 30%
传统方案会将 HBM 内存控制器集成在主芯片内部。NVHBM 把内存控制器下移到 HBM 堆栈的基片之中,同时向 NVLink Fusion 合作伙伴提供小型定制 PHY 物理层 IP,供其集成到自有芯片。
该设计可以释放主芯片的封装面积,计算芯片可用面积最高可增加 30%。对于多芯片先进封装架构,NVHBM 还能够简化中介层布线难度。
NVHBM 定制加速器与标准 HBM 方案对比,窄接口为计算芯片释放更多面积
功耗下降 15%,量产 Rubin 机柜暂不支持该技术
对比商用 HBM4e 堆栈,NVHBM 实现 15% 功耗降低。英伟达在 Vera Rubin 推广中多次提出:不能产出 Token 的功耗都是无效损耗。节省下来的功耗,既可以转化为每瓦性能收益,也可以用来增加加速器功能单元,或是在固定功耗上限下拉高持续算力。
对于需要高频搬运模型权重、KV 缓存的 AI 加速器,更高带宽、更低内存功耗收益显著,在数千上万颗芯片规模下,功耗优势会进一步放大。内存侧节约的能耗,可以反哺计算单元提升性能,或者在既定功耗预算内部署更多加速器。 需要注意:NVHBM 是面向潜在合作伙伴的技术选项,已经量产的 Vera Rubin 机柜级系统并不搭载 NVHBM。
亚马逊 Annapurna Labs 成为 NVHBM 首家合作方。Annapurna 副总裁 Nafea Bshara 表示:期待本次合作赋能 AWS 下一代基础设施设计。Annapurna 的 Trainium 4 AI 芯片已支持 NVLink Fusion 扩展接口,后续新一代芯片有望接入 NVHBM。
