Hot Chips 2026 | 下一代AI产品不是GPU,而是一座机架

芝能智芯 2026-09-01 08:18
Hot Chips 2026 | 下一代AI产品不是GPU,而是一座机架图1芝能智芯出品


Vera Rubin NVL72这个阶段,英伟达正在接管供电、液冷和数据中心设计。


过去购买 GPU,像是购买一台发动机:服务器厂商负责把它装进机器,数据中心负责供电、网络和冷却。


到了 NVIDIA Vera Rubin NVL72,交付物已经更像一辆完整赛车,甚至连维修方式和赛道条件都一起规定好了。


Hot Chips 2026 | 下一代AI产品不是GPU,而是一座机架图2


一套 NVL72 机架包含 72 颗 Rubin GPU、36 颗 Vera CPU、NVLink 6 交换芯片、ConnectX-9 网卡和 BlueField-4 DPU。


72 颗 GPU 通过机架内 NVLink 组成一个高速计算域,每颗 GPU 的 NVLink 带宽为 3.6TB/s,整套 NVLink 交换带宽达到 260TB/s。


对软件来说,它不再是 72 张通过普通网络松散连接的显卡,而更接近一台拥有巨大统一通信结构的超级计算机。


Hot Chips 2026 | 下一代AI产品不是GPU,而是一座机架图3


为什么大模型需要"机架内高速公路"


一个超大模型往往不能装进单颗 GPU。参数、激活值和专家模块分布在几十甚至上百颗芯片上,每生成一个 Token,都可能需要跨芯片交换数据。


如果芯片计算只用一毫秒,通信却要等待数毫秒,增加 GPU 反而可能让系统更慢。NVLink 的目标,就是把机架内部变成高带宽、低延迟的 scale-up 域,让多个 GPU 更像一颗更大的加速器。


Rubin GPU 单颗配备 288GB HBM4,带宽 22TB/s;72 颗合计拥有约 20.7TB HBM4 和 1580TB/s 内存带宽。数字极其庞大,但它们也说明系统的难点:数十颗高功耗 GPU、上千颗 HBM 裸片和大量交换芯片必须同时稳定工作。


Hot Chips 2026 | 下一代AI产品不是GPU,而是一座机架图4


供电为什么成为芯片架构的一部分


AI 机架功率越来越高,传统数据中心的交流配电和机架内转换会占用空间、产生损耗。NVIDIA 在 Hot Chips 演讲中讨论了 800V 直流供电和机架级电力平滑,通过本地储能吸收 GPU 负载的瞬时波动。


大模型训练和推理并不是恒定功耗。所有 GPU 同时进入高负载或通信阶段,会让电网看到陡峭波动。电力系统若按最高瞬时功率预留,成本很高;如果预留不足,又可能触发保护。


NVIDIA 宣称其方案可降低约 13% 的峰值功率,并在相同供电预算下容纳最多约 40% 更多 GPU。这些仍属于厂商披露,实际收益取决于负载和数据中心条件。


以后评估 AI 芯片,不仅要看芯片 TDP,还要看整座机架如何从电网取电、怎样处理负载突变,以及多少电最终变成有效 Token。


Hot Chips 2026 | 下一代AI产品不是GPU,而是一座机架图5


45℃的"热水"也能给GPU降温


NVL72 采用全液冷设计,支持 45℃进水。听起来温度很高,但关键不在水是否冰冷,而在它是否仍比芯片冷,并能够持续带走热量。


较高进水温度使数据中心在适宜气候下使用干式冷却器,减少或取消高耗能冷水机组,也能降低用水。NVIDIA 还把计算托盘做成无风扇、无软管、少线缆的模块,简化工厂装配和现场维护。


这不是外观工程。几万颗 GPU 的集群中,安装时间、接头泄漏、风扇故障和线缆插错都会转化成停机与运维成本。机架设计越标准化,NVIDIA 的合作伙伴就越容易批量复制"AI 工厂"。


算力建设不等于采购加速卡


NVL72 对国内行业最重要的提醒,是不要把算力建设等同于采购加速卡。


大型集群需要高压配电、液冷,网络、存储、机柜制造、监控软件和维护体系共同匹配。缺少其中任何一项,高价芯片都可能因为供电不足、通信拥塞、温度过高或故障恢复太慢而无法满负荷运行。


国产 AI 平台要竞争,也不能只推出一颗芯片。客户越来越需要经过验证的服务器、机架、网络拓扑、液冷方案、集群软件与应用性能。谁能对"每兆瓦产生多少 Token、第一次响应需要多久,多久发生一次中断"负责,谁才拥有平台价值。


小结


NVIDIA 的目标是定义整座数据中心该怎样建。芯片战争因此进入了一个更重的阶段:制程依然重要,但电力、热量、机械结构和运维同样成为计算架构。

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AI GPU IP
more
英特尔Hot Chips 2026亮剑:Crescent Island GPU专攻AI推理,弃图形渲染换极致能效
小米玄戒O3芯片发布:GPU内嵌AI加速器,能效与性能双重跃升
灵晟超算破局:纯CPU架构首抗GPU集群,国产AI算力迎新范式
燧原科技敲定科创板发行价,“国产GPU四小龙”即将全员上市
黄仁勋搬来华尔街5000亿,买GPU可以按揭了
Hot Chips 2026 | GPU巨头为什么要自己做一颗强CPU
跟黄仁勋学做生意,一颗GPU不止赚一次钱
上海“十五五”软信业规划印发,明确攻关GPU、量子芯片等核心环节
Hot Chips 2026 | GPU越来越快,为什么AI仍然被"内存墙"堵住
一文看懂GPU是怎样工作的
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号