又一颗2nm AI芯片问世！用上288GB HBM4

又一颗2nm AI芯片问世！用上288GB HBM4图1

单机架Token吞吐量飙7倍。

作者 | ZeR0

编辑 | 漠影

芯东西10月13日报道，昨晚，微软推出第三代自研AI芯片Azure Maia 300。该芯片基于多Chiplet和软件定义数据流架构，其中计算Chiplet采用台积电2nm制程工艺，配备8组HBM4堆栈，拥有288GB HBM容量、18TB/s峰值内存带宽，TDP为950W，FP4峰值算力达13.8PFLOPS，支持万卡级互连。

与Maia 200相比，Maia 300实现了：

内存带宽提升至2.5倍；
内存容量增加33%；
每瓦HBM带宽提升至约2倍。

“我们宣布了我们迄今对自研芯片的最大赌注。”微软董事长兼CEO萨提亚·纳德拉发文称，“从明年开始，我们将Maia系列扩展到数吉瓦级部署规模，使其成为我们自家产品和服务的主要推理系统。”

这意味着，微软自研AI芯片正在从技术验证走向大规模商业应用。

在Maia 300机架系统中，单机架AI芯片数量翻倍，达到96颗，功耗为167kW，提供27.6TB HBM容量和1.7PB/s聚合内存带宽，可扩展至包含12288颗加速器的Superpod（超级计算单元集群）。

在满配96颗AI芯片配置下，其机架级token吞吐量最高达到Maia 200的7倍，每瓦性能提升至2.5倍以上。

与领先的GPU系统相比，Maia 300每瓦token生成数量提高40%。

同时，微软第二代AI芯片Maia 200已在美国、欧洲和澳大利亚部署，在Teams、Copilot等体验中，每瓦token生成数量最高可达到领先GPU基础设施的1.7倍。

01.

AI芯片：2nm制程、

2.5倍HBM带宽、五大架构创新

Maia 300是一款专门针对AI推理设计的AI芯片，重点优化长上下文、内存密集型和解码密集型工作负载。

该芯片通过一系列架构创新，在整个系统范围内优化数据移动、数据局部性、计算精度和内存效率，从而提高每瓦性能。

具体包括以下五个方面：

1、多Chiplet架构提升性能

Maia 300将计算功能部署在台积电N2P工艺制造的Chiplet上，内存控制器和I/O功能被分离到其他芯片裸晶上，这些裸晶分别针对带宽、连接能力和成本进行优化。

软件定义局部访问数据流架构（SDLA）则负责管理整个封装内部的数据局部性和数据移动。

该架构将控制路径编程与数据路径执行分离，使软件能够显式协调数据在专用局部存储器、DMA引擎、计算引擎和网络之间的放置、移动、转换与同步。

这一策略使系统的浮点计算能力提高36%，HBM带宽达到原来的2.5倍，Scale-up互连带宽提高14%。

2、优化低精度推理

Maia 300引入了增强型MXFP4格式，以及低于3bit的存储格式。

更低位宽的数据表示方式能够减少内存占用和数据移动量，使系统能够在相同功耗限制下支持更大的模型、更长的上下文，以及更多并发会话。

3、通过指令集增强优化推理计算内核

Maia 300的向量引擎针对关键推理计算内核进行了优化，包括Softmax、低精度数据类型转换以及其他运算。

4、提高芯片内部数据移动效率

随着模型上下文窗口不断扩大，KV Cache占用的内存持续增长，尤其在解码阶段，内存带宽往往比计算能力更容易成为性能限制。

Maia 300将内存组织方式从统一内存架构调整为跨Chiplet的非统一内存访问（NUMA）架构。

每个计算区域附近都有相应的内存资源。

借助SDLA对DMA引擎、局部SRAM、HBM和片上网络（NoC）的显式控制，系统能够将数据放置在需要使用这些数据的计算单元附近。

数据传输距离因此缩短，数据移动所消耗的能量也随之降低。

5、针对单位功率带宽优化内存层次结构

Maia 300将软件管理的片上SRAM与8组HBM4堆栈相结合。每颗加速器提供288GB HBM容量和18TB/s内存带宽。

这使得更多模型数据和KV Cache状态能够保留在靠近计算单元的位置。

与Maia 200相比，Maia 300的内存带宽达到2.5倍，容量增加33%，每瓦HBM带宽约为2倍。

02.

统一网络：电互连+光互连，

最多构建12288颗AI芯片超级集群

Maia 300将网络作为软件定义数据流架构的原生延伸。

Maia的AI网络控制器实现了基于以太网的定制化AI传输协议。通过两级网络架构，Maia 300能够构建最多包含12288颗AI芯片的高性能Superpod。

Maia向软件提供统一的通信模型，使用相同的通信语义，即可将数据直接传输至Superpod中的任意加速器。

1、机架内采用半交换式拓扑

每颗加速器的Scale-up连接能力分为两部分：直接连接和交换式连接。

直接链路连接同一托盘内的两颗加速器，而交换网络则将机架内全部96颗加速器连接起来，形成一个Pod。

机架内部的所有连接均采用电互连，以降低功耗和成本。

2、跨机架采用第二级光互连

第二级交换机最多可连接128个机架，共同组成一个Superpod。

光互连提供了跨越多个Pod所需的传输距离，使Scale-up网络能够扩展至更大规模。

3、采用统一网络，整合Scale-up与Scale-out通信

Maia 300通过集成式网络控制器和专用AI传输机制，在Pod内部和跨Superpod通信时使用相同的通信语义。

Maia AI芯片可以直接发起与Superpod中任意其他加速器的通信，无需经过主机，也无需使用独立的Scale-out网卡（NIC）。

这一设计尤其适合预填充与解码分离部署。预填充节点生成KV Cache后，可以通过Scale-up网络直接传输给解码节点，减少额外的数据传输开销。

4、低跳数通信路径

Maia 300的网络包含三个延迟域。

第一，直接连接的两颗加速器构成延迟最低的通信域。

第二，同一Pod内的加速器之间，只需要经过一次交换机转发。

第三，跨Pod的任意两颗加速器之间，需要经过三次交换机转发。

软件可以将对延迟敏感的张量并行通信保留在延迟最低的通信域内。

5、根据工作负载分配带宽

对于每颗加速器，机架内带宽与跨机架带宽之间的分配比例，并没有在系统设计阶段被固定下来。

相反，这一比例可以根据作业的资源打包与部署方式动态设置。

当只有部分加速器需要进行跨机架通信时，单颗加速器可以向Superpod中的任意对等加速器提供最高750GB/s的通信带宽。

6、灵活的作业部署

张量并行可限制在包含96颗加速器的单个机架内部。同时，规模更大的专家并行和流水线并行任务可以跨越多个机架运行。

作业能够利用不同机架中的计算资源，从而减少因工作负载规模与物理机架配置不匹配而产生的闲置加速器。

例如，一个使用64颗加速器的作业，可拆分为4个分别使用16颗加速器的分片，并部署在4个不同机架中。

7、在Scale-up互连域内实现解耦式推理

预填充（Prefill）和解码（Decode）工作节点可以独立确定规模和部署位置。

预填充计算完成后，KV Cache状态可以通过同一个Scale-up网络，直接传输至选定的解码工作节点。

整个过程无需离开Scale-up互连域，也无需经过由主机参与转发的独立Scale-out通信路径。

8、实现跨机架容错

当部分加速器不可用时，调度器可以使用Superpod中其他机架的热备用资源。

这一过程对软件计算内核透明。

工作负载仍然运行在Scale-up网络内部，通过接受额外的通信路径延迟，换取更高的系统可用性和资源利用率。

03.

机架级架构：AI芯片数量翻倍，

每瓦性能多达2.5倍

在数据中心规模下，效率取决于在固定供电和散热条件下，能够部署和运行多少真正有效的基础设施。

在Maia SoC架构原有能效优势的基础上，Maia 300进一步对服务器布局和密度、网络拓扑与交换、供电与散热设计，以及先进遥测技术进行协同设计。

Maia 300单机架集成96颗AI芯片，功率为167kW，提供27.6TB HBM容量和1.7PB/s聚合内存带宽。

与Maia 200相比，单机架AI芯片数量翻倍，机架级每瓦性能最高达到2.5倍以上。

1、在167kW功率下集成96颗加速器

Maia 300在一个167kW机架中，通过24个四加速器托盘集成96颗加速器。其AI芯片部署密度达到Maia 200的2倍。

每个托盘都集成4颗AI芯片，以及相应的主机处理器、内存、存储和散热系统。

通过取消独立的主机托盘，Maia 300释放了更多机架空间，并能够将供电和散热资源作为统一系统进行管理。

这提高了每个机架能够部署的推理计算容量。

2、整合式交换架构

Maia 300将6颗高端口密度交换ASIC集成在3个液冷交换机托盘中。

这一设计能够为机架内全部96颗加速器提供所需的本地连接，同时尽可能减少交换设备占用的空间和功率。

3、机架级供电

Maia 300采用双路电源输入、高容量电源模块架，以及50V母排架构，为加速器托盘和交换机托盘高效分配电力，同时提供运行冗余。

机架内集成的自动转换开关（ATS）能够确保即使一路电源因维护而离线，系统仍可保持较高的可用性。

4、灵活的散热架构

Maia 300采用液冷与风冷结合的设计。

液冷系统能够带走机架中超过80%的热负载，主要覆盖加速器、稳压器和交换ASIC。

同时，内存、存储以及其他辅助组件采用风冷方式散热。

在具备相应设施的环境中，Maia 300可以直接连接数据中心的设施冷却水系统。

对于采用风冷的数据中心环境，Maia 300也可以通过换热装置将热量排出。

这种设计使系统在不同数据中心环境下的大规模部署具有更高的灵活性。

5、与数据中心集成的遥测系统

微软吸收了此前部署过程中积累的经验，进一步加强了系统的可靠性、可用性和可维护性（RAS），以及可观测性、可调试性、故障处理能力和冗余设计。

随着部署规模扩大，这些改进有助于提高系统的稳健性。

机架级和机架排级的电力遥测数据与数据中心运营系统相连接，使系统能够根据实际可用的供电和散热能力，管理运行状态。

这些数据还会被用于相关算法，以动态分配电力，并优化工作负载部署位置和部署密度。

最终，这将提高资源利用率，以及每瓦功率能够生成的token数量。

04.

结语：微软AI基础设施进入新阶段，

通过系统级协同优化降本增效

微软自研芯片围绕自身AI业务需求，提高推理效率，降低单位Token成本，并增强对底层算力基础设施的控制能力，以期在大规模部署中实现更高效的AI系统。

从软件、芯片、物理机架基础设施，到网络和数据中心，Maia 300进行了端到端的全面优化。

与通用GPU需要适应广泛计算任务不同，Maia系列可以围绕微软自身的大规模AI服务进行针对性优化。

这并不意味着微软将全面放弃英伟达GPU。微软仍然强调开放、异构和多模型平台，Maia将成为其AI基础设施中的重要组成部分。

未来的机遇并不局限于建设更多计算资源。更重要的是，让先进AI能力变得更加普及、更加经济实惠，也更加实用。