全球首个GB300巨兽救场！一年烧光70亿，OpenAI内斗GPU惨烈

为了争夺有限的GPU，OpenAI内部一度打得不可开交。

过去一年，OpenAI在算力上斥资70亿美元。

其中，大模型研发占了最大头——50亿美元，而推理计算仅用了20亿美元。

可见，LLM训练正吞噬无尽的算力，这也是OpenAI最近一直在大举扩展超算建设与合作的重要原因。

采访中，OpenAI总裁Greg Brockman坦言，「内部如何分配GPU，简直就是一场痛苦与煎熬」。

如今，甲骨文、英伟达、AMD等芯片巨头/云服务巨头，纷纷与OpenAI联结，能够解其燃眉之急。

这不，就连曾经最大的「金主爸爸」微软也上阵了。

纳德拉官宣，全球首个配备4600+ GB300的超算率先上线，专攻OpenAI。预计，未来将扩展到十万块GPU。

英伟达称，这一算力巨兽，可以让OpenAI不用数周，仅在数天内训练万亿参数模型。

就在昨天，微软Azure宣布成功交付了，全球首个生产级超大规模AI集群。

它搭载了超4600个GB300 NVL72，配备通过下一代InfiniBand网络互联的Blackwell Ultra GPU。

今年早些时候，微软曾推出GB200 v6虚拟机（VM），通过大规模GB200 NVL2集群，已在OpenAI内部训练部署得到应用。

这一次，GB300 v6虚拟机再次树立了行业标杆。

该系统基于机架级设计，每个机架包含18个虚拟机，共计72个GPU：

• 72个Blackwell Ultra GPU，搭配36个Grace CPU

• 通过下一代Quantum-X800 InfiniBand，实现每GPU 800 Gb/s的跨机架横向扩展带宽（2x GB200 NVL72）

• 机架内130 TB/s的NVLink带宽

• 37TB高速内存

• 高达1,440 PFLOPS的FP4 Tensor Core性能

  
  

为打造出最强超算，微软对计算、内存、网络、数据中心、散热和供电等技术栈的每一层，都进行了重新设计。

机架层：低延迟高吞吐

通过NVLink和NVSwitch，GB300 v6在机架层面实现了高达130TB/s的机架内数据传输速率，连接了总计37TB的高速内存，由此消除了内存和带宽瓶颈。

在大模型和长上下文场景下，推理吞吐量大幅提升，为AI智能体和多模态AI带来前所未有的响应速度和扩展性。

同时，Azure部署了采用当今最快网络 fabric——Quantum-X800 Gbp/s InfiniBand——的全连接胖树（fat-tree）无阻塞架构，能够跨机架扩展数万个GPU。

此外，Azure散热系统采用独立的「散热器单元」和「设施级冷却方案」。

在为GB300 NVL72这类高密度、高性能集群保持热稳定性的同时，最大限度地减少了水资源消耗。

软件层：全面优化

不仅如此，微软为存储、编排和调度重构的软件栈也经过全面优化，能够在超算规模上充分利用计算、网络、存储和数据中心基础设施，提供前所未有的高性能和高效率。

在OpenAI内部，正上演一场GPU激烈争夺战。

上周四，Greg在一期「Matthew Berman」播客节目中，自曝管理算力资源分配的过程，令人揪心且筋疲力尽。

在OpenAI内部，将算力资源主要分配给「研究」和「应用产品」两个方向。

为了应对算力分配的挑战，OpenAI建立了一套相对清晰的资源分配机制：

• 高层决策：由奥特曼和Fidji Simo组成的领导团队，决定研究团队与应用团队之间的总体算力划分；

• 研究团队内部协调：首席科学家和研究负责人，决定研究团队资源分配；

• 运营层：由Kevin Park领导的小型内部团队负责GPU的具体分配和调动。

  
  

OpenAI复杂算力关系网络图

Greg提到，当一个项目接近尾声时，Kevin会重新分配硬件资源，以支持新启动的项目。

一直以来，OpenAI多次公开表达其对算力永不满足的需求。

OpenAI首席产品官Kevin Weil曾表示，「我们每次拿到新的 GPU，它们都会被立刻投入使用」。

OpenAI对算力的需求逻辑很简单——

GPU的数量直接决定了AI应用的能力上限。获得的GPU越多，所有人就能使用越多的AI。

不仅OpenAI，整个行业科技巨头也在加码算力投入。小扎透露，Meta正将「人均算力」打造为核心竞争优势。

上个月，奥特曼称，OpenAI正在推出「算力密集型服务」。

这场算力争夺战中，谁手握最多的算力，将决定谁在AI竞赛中脱颖而出。