芝能智芯出品
甲骨文宣布Vera Rubin NVL72在OCI云平台进入通用可用,Rubin开始真正给客户跑业务。

英伟达9月悄悄更新的出货规格被翻了出来:算力和显存容量是一样的,两条内部带宽一起下调,对外网络反而加宽。Rubin发布接近一年,官方一直标注数值可变。
新规格从出货第一天就适用于所有Rubin硬件,没有过渡期。
Part 1

单颗Rubin GPU,NVFP4推理算力50 PFLOPS、训练35 PFLOPS,288GB HBM4由8组36GB堆栈组成,这些全部不动。

变化的是这些:
◎ 显存带宽从22TB/s降到19.2TB/s,对应引脚速率从10.75Gbps降到9.375Gbps,降幅约11%;
◎ NVLink从3.6TB/s降到3.0TB/s,降17%;
◎ 面向外部网络的带宽从400GB/s升到450GB/s,升12.5%。

机架级等比例缩水:
◎ NVL72的显存总带宽从1580TB/s降到1400TB/s,
◎ NVLink从260TB/s降到216TB/s,
◎ 对外网络从28.8TB/s升到32.4TB/s,20.7TB显存容量保持不变。

八卡HGX NVL8差异最大:
◎ 显存从2.3TB砍到2.0TB,8组HBM4只用7组,单卡只剩约250GB、带宽约16.8TB/s;
◎ 显存总带宽从176TB/s掉到130TB/s,降幅26%,比NVL72的11%下降多得多;
◎ NVLink从28.8TB/s降到24TB/s。

训练算力也跟着降:
◎ FP4从280降到270 PFLOPS,
◎ FP8从140降到130,
◎ FP4推理400 PFLOPS不变。
x86版、Vera版和基于NVL8的DGX全部适用。
Part 2

HBM4把单堆栈接口从1024位翻倍到2048位,JEDEC基准速率是8Gbps/引脚。
◎ 英伟达原定10.75Gbps远超标准,降到9.375Gbps仍在基准之上;
◎ 对手AMD的MI455X只跑7.6Gbps。

英伟达没有解释下调原因,似乎是把激进目标往回收,高带宽路线没有变,行业推测指向内存控制器速度、堆栈速度或良率,或三者叠加。
对外网络为何反向加宽?
模型训练跨成千上万颗GPU,推理把预填充、解码和缓存分散部署,跨机架通信越来越重。
显存、互连、网络三层的瓶颈会随部署规模互相转移,这次调整是一次系统级重新配比,对重度跨机架通信的大规模部署,这反而有利。
英伟达对产品的规格调整果然是动态的。