微软发布 Maia 300 AI 芯片

随着包括多步骤执行、长上下文解码和工具使用在内的智能体工作负载不断改变推理的计算特性和运算强度，这种系统级方法变得日益必要。满足这些需求需要维持局部性，为计算提供足够的内存容量和带宽，最大限度地减少数据传输，高效地扩展通信，并在数据中心有限的电力和冷却能力范围内实现最大的计算能力。

在微软，我们通过客户每天使用的产品和平台（从Microsoft Copilot和GitHub Copilot到 Microsoft Foundry）亲身见证了这种变革。大规模运行这些工作负载让我们能够以独特的视角了解人工智能在各行各业的普及情况，以及支持下一代人工智能应用和代理所需的基础设施。Maia 300 旨在最大限度地提高每瓦和每美元的可用token数，从而为这些产品以及微软更广泛的人工智能产品组合带来更高的容量、功能和性能，最终惠及我们的客户。

通过软件定义数据流实现节能推理

Maia 200 引入了一种名为“软件定义本地访问数据流架构”（Software Defined Locally Accessed Dataflow Architecture，简称 SDLA）的新型加速器架构。该架构基于这样的观察：高效的数据管理，包括数据的存储、移动和转换，是现代人工智能系统面临的核心挑战之一。Maia 可编程数据流架构将控制路径编程与数据路径执行分离，并允许软件显式地协调数据在专用本地存储器、DMA 引擎、计算引擎和网络之间的放置、移动、转换和同步。

Maia 300 针对长上下文、推理密集型和解码密集型推理任务，对该架构进行了改进。首先，内存从 SoC 的统一内存访问 (UMA) 组织结构迁移到跨芯片的局部性感知非统一 (NUMA)组织结构，从而使软件能够将数据放置在靠近使用它的计算单元的位置。其次，采用硬件加速数据类型转换的新型窄精度格式减少了每个标记移动的字节数。第三，机架上的加速器数量翻倍至 96 个，扩展域扩展到包含 12,288 个加速器的超级扩展舱，使更多加速器能够作为一个整体系统高效运行。

Maia 300 并非仅仅通过增加功率和硅面积来提升性能，而是通过一系列架构创新来提高每瓦性能，从而优化整个系统的数据传输、局部性、精度和内存效率：

1、多芯片架构通过将计算功能置于台积电N2P芯片上来提升性能，该先进工艺可实现最高的每瓦性能优势；同时，将内存控制器和I/O功能分离到针对带宽、连接性和成本优化的芯片上。这增加了用于计算性能的硅片面积，并使每个功能都能使用最适合其角色的技术，而SDLA则负责管理封装内的局部性和数据传输。该策略使系统的计算浮点运算能力提高了36%，HBM带宽提高了2.5倍，并且提供了14%的扩展带宽。

2、优化了低精度推理，引入了增强型 MXFP4 和 3 位以下存储格式。更窄的表示形式减少了内存占用和数据移动，使系统能够在相同的功耗范围内支持更大的模型、更长的上下文和更多的并发会话。

3、通过 ISA 增强优化推理内核：向量引擎为关键推理内核添加了优化，包括 softmax、低精度数据转换和其他操作。

Maia 300采用高效的片上数据传输方式，将内存组织从统一结构改为跨芯片的非统一（NUMA）结构。每个计算区域都拥有相邻的内存，SDLA 对 DMA 引擎、本地 SRAM、HBM 和片上网络的显式控制，将数据放置在使用它的计算区域附近。数据传输距离更短，从而降低了数据传输所需的能量。

该内存层次结构针对每瓦带宽进行了优化，结合了软件管理的片上SRAM和八个HBM4堆栈，每个加速器可提供288GB的容量和18TB/s的带宽。

与 Maia 200 相比，Maia 300 的内存带宽提高了 2.5 倍，容量增加了 33%，每瓦 HBM 带宽也提高了约 2 倍。

一种scale-up fabric：从Pod到Super Pod

Maia 300 将网络原生扩展为软件定义数据流架构的一部分。Maia 的 AI 网络控制器实现了基于以太网的定制化 AI 传输。双层网络构建了一个高性能超级集群，最多可容纳 12,288 个加速器。Maia 向软件提供统一的通信模型——相同的语义即可将数据直接传输到超级集群内的任何加速器。

1、半交换式机架内拓扑结构：

每个加速器将其扩展连接分为直接链路和交换路径两部分。直接链路连接托盘中的两个加速器，而交换结构连接机架中的所有 96 个加速器，形成一个加速器组。所有机架内连接均采用电气链路，以降低功耗和成本。

2、跨机架的光纤二层

交换机将多达 128 个机架连接在一起，形成一个超级集群。光纤提供了跨集群扩展网络所需的传输距离。

3、采用单一架构而非独立的纵向扩展和横向扩展域。

集成的网络控制器和专用AI传输在Pod内部以及整个SuperPod中使用相同的通信语义。Maia加速器可以直接与SuperPod中的任何加速器发起通信，而无需主机或独立的横向扩展网卡。

4、低跳通信路径

存在三个延迟域：直接连接的加速器对延迟最低；同一 pod 内的加速器之间相隔一个交换机跳；跨 pod 的加速器之间相隔三个交换机跳。软件可以将对延迟敏感的张量并行流量限制在最低延迟域内。

5、分配给工作负载的带宽：

每个加速器的机架内带宽和跨机架带宽分配并非在系统设计时固定，而是一个根据作业打包情况而设定的参数。当只有一部分加速器进行跨机架作业时，单个加速器可以向超级机架内的任何对等节点提供高达 750 GB/s 的带宽。请参阅下面的备用托架示例。

6、灵活的作业放置方式：

张量并行可以保留在96加速器机架内，而更广泛的专家并行和流水线并行则可以跨机架运行。作业可以跨机架边界使用容量，从而减少工作负载大小与物理机架配置不匹配时加速器的闲置情况。

7、在扩展域内进行解耦推理：

预填充和解码工作节点可以独立调整大小和部署。预填充计算完成后，键值状态会通过同一扩展架构直接传输到选定的解码工作节点，而无需通过单独的主机介导的横向扩展路径离开域。

8、跨机架弹性：

当加速器不可用时，调度器可以透明地使用超级节点内其他机架中的热备容量，这对软件内核完全无害。工作负载仍然运行在可扩展架构上，以增加路径延迟为代价，换取更高的可用性和资源利用率。

机架级架构，提升部署效率

在数据中心规模下，效率取决于在固定的电力和冷却条件下能够部署和运行多少有效的基础设施。Maia 300 机架基于 Maia SoC 架构的基础能效，在服务器布局和密度、网络拓扑和交换、电源和冷却设计以及高级遥测技术方面进行了协同设计，与 Maia 200 相比，每瓦性能提升高达 2.5 倍。

Maia 300是一款 167 kW 的超级计算机，它将 96 个加速器集成在 24 个四槽托架中，安装在一个 167 kW 的机架内，加速器密度是 Maia 200 的两倍。每个托架包含四个加速器及其主机处理器、内存、存储和冷却系统。省去了单独的主机托架，释放了机架空间，并将电源和散热资源整合到一个系统中进行管理，从而提高了每个机架的推理能力。

六个高基数交换机ASIC集成到三个液冷交换机托架中，为所有96个加速器提供所需的机架本地连接，同时最大限度地减少交换所占用的空间和功耗。

双电源输入、大容量电源架和 50V 母线架构可高效地将电力分配至加速器和交换机托架，同时提供运行冗余。集成的机架自动转换开关即使在单个电源输入因维护而离线时，也能保持高可用性。

液冷可去除机架中超过 80% 的热负荷，这些热负荷主要来自加速器、电压调节器和交换机 ASIC；而风冷则用于内存、存储和其他辅助组件。Maia 300 可以直接连接到现有数据中心的供水系统（如有），或者在风冷数据中心环境中使用热交换器来散热。这使得系统能够更灵活地大规模部署。

我们已将部署经验融入其中，以增强可靠性、可用性和可维护性 (RAS)、可观测性、可调试性、故障处理和冗余性，从而在部署更多容量时提升系统的稳健性。机架级和行级电源遥测技术与数据中心运维相连接，使用户能够根据可用电力和冷却能力来管理运行点。这些数据为动态分配电力、优化工作负载放置和部署密度的算法提供信息，从而提高每瓦的利用率和交付的token数。

Maia 300 的功能

Maia 300 是旨在大规模部署高效人工智能系统的多代计划中的下一步。该设计从软件、芯片、物理机架基础设施、网络到数据中心等各个方面都进行了端到端优化，从而显著提升了云规模智能推理的性能和效率。

与 Maia 200 相比，Maia 300 在满配 96 加速器配置下，机架级token吞吐量提升高达 7 倍，每瓦性能提升超过 2.5 倍。它拥有更高的每瓦内存带宽和两倍的机架加速器数量，并基于我们的软件定义数据流架构 SDLA 和双层纵向扩展网络，支持从内核到数据中心规模的单一编程模型。这些进步使我们能够更高效地为更多用户和组织提供更有用的智能信息。

与 Maia 200 相比，Maia 300 的机架级令牌吞吐量最高可提升 7 倍，每瓦性能提升超过 2.5 倍。

未来的机遇不仅仅在于构建更强大的计算能力，更在于让先进的人工智能技术更加普及、经济实惠且实用。Maia 300 是朝着这个目标迈出的重要一步。