芝能智芯出品Vera Rubin NVL72这个阶段,英伟达正在接管供电、液冷和数据中心设计。
过去购买 GPU,像是购买一台发动机:服务器厂商负责把它装进机器,数据中心负责供电、网络和冷却。
到了 NVIDIA Vera Rubin NVL72,交付物已经更像一辆完整赛车,甚至连维修方式和赛道条件都一起规定好了。

一套 NVL72 机架包含 72 颗 Rubin GPU、36 颗 Vera CPU、NVLink 6 交换芯片、ConnectX-9 网卡和 BlueField-4 DPU。
72 颗 GPU 通过机架内 NVLink 组成一个高速计算域,每颗 GPU 的 NVLink 带宽为 3.6TB/s,整套 NVLink 交换带宽达到 260TB/s。
对软件来说,它不再是 72 张通过普通网络松散连接的显卡,而更接近一台拥有巨大统一通信结构的超级计算机。

为什么大模型需要"机架内高速公路"
一个超大模型往往不能装进单颗 GPU。参数、激活值和专家模块分布在几十甚至上百颗芯片上,每生成一个 Token,都可能需要跨芯片交换数据。
如果芯片计算只用一毫秒,通信却要等待数毫秒,增加 GPU 反而可能让系统更慢。NVLink 的目标,就是把机架内部变成高带宽、低延迟的 scale-up 域,让多个 GPU 更像一颗更大的加速器。
Rubin GPU 单颗配备 288GB HBM4,带宽 22TB/s;72 颗合计拥有约 20.7TB HBM4 和 1580TB/s 内存带宽。数字极其庞大,但它们也说明系统的难点:数十颗高功耗 GPU、上千颗 HBM 裸片和大量交换芯片必须同时稳定工作。

供电为什么成为芯片架构的一部分
AI 机架功率越来越高,传统数据中心的交流配电和机架内转换会占用空间、产生损耗。NVIDIA 在 Hot Chips 演讲中讨论了 800V 直流供电和机架级电力平滑,通过本地储能吸收 GPU 负载的瞬时波动。
大模型训练和推理并不是恒定功耗。所有 GPU 同时进入高负载或通信阶段,会让电网看到陡峭波动。电力系统若按最高瞬时功率预留,成本很高;如果预留不足,又可能触发保护。
NVIDIA 宣称其方案可降低约 13% 的峰值功率,并在相同供电预算下容纳最多约 40% 更多 GPU。这些仍属于厂商披露,实际收益取决于负载和数据中心条件。
以后评估 AI 芯片,不仅要看芯片 TDP,还要看整座机架如何从电网取电、怎样处理负载突变,以及多少电最终变成有效 Token。

45℃的"热水"也能给GPU降温
NVL72 采用全液冷设计,支持 45℃进水。听起来温度很高,但关键不在水是否冰冷,而在它是否仍比芯片冷,并能够持续带走热量。
较高进水温度使数据中心在适宜气候下使用干式冷却器,减少或取消高耗能冷水机组,也能降低用水。NVIDIA 还把计算托盘做成无风扇、无软管、少线缆的模块,简化工厂装配和现场维护。
这不是外观工程。几万颗 GPU 的集群中,安装时间、接头泄漏、风扇故障和线缆插错都会转化成停机与运维成本。机架设计越标准化,NVIDIA 的合作伙伴就越容易批量复制"AI 工厂"。
算力建设不等于采购加速卡
NVL72 对国内行业最重要的提醒,是不要把算力建设等同于采购加速卡。
大型集群需要高压配电、液冷,网络、存储、机柜制造、监控软件和维护体系共同匹配。缺少其中任何一项,高价芯片都可能因为供电不足、通信拥塞、温度过高或故障恢复太慢而无法满负荷运行。
国产 AI 平台要竞争,也不能只推出一颗芯片。客户越来越需要经过验证的服务器、机架、网络拓扑、液冷方案、集群软件与应用性能。谁能对"每兆瓦产生多少 Token、第一次响应需要多久,多久发生一次中断"负责,谁才拥有平台价值。
NVIDIA 的目标是定义整座数据中心该怎样建。芯片战争因此进入了一个更重的阶段:制程依然重要,但电力、热量、机械结构和运维同样成为计算架构。