揭秘！英伟达推理王国机架系统！

LPX机架系统细节颇为有趣。NVIDIA在GTC展会上展示了一款配备32个1U LPU计算托盘和2台Spectrum-X交换机的LPX机架。这款由NVIDIA在GTC上展示的32托盘1U版本，与Groq在收购前推出的原始服务器设计非常接近。我们推测，这款服务器配置并非将在第三季度发布的量产版本，因为NVIDIA已进行了相关调整。接下来，将详细介绍关于实际生产版本的已知信息。

每个LPX计算托盘或节点包含16个LPU，配备2个Altera FPGAs、1个Intel Granite Rapids主机CPU以及1个BlueField-4前端模块。与其它NVIDIA系统类似，超大规模数据中心客户可自行选择使用所需的前端网卡，而无需支付NVIDIA的BlueField费用。

LPU模块采用belly-to-belly方式安装在PCB上，即8个LP30模块位于PCB的顶部，另外8个LP30模块位于底部。所有从LPU引出的连接均通过PCB走线实现，由于节点内部连接采用了密集的全互联网格结构，因此需要使用高规格的PCB来支持布线。背靠背安装方式用于缩短PCB在X轴和Y轴方向上的走线长度。

该系统的一个有趣之处在于FPGA所发挥的重要作用。英伟达将FPGA称为“网络扩展逻辑”，其功能多样。首先，它们充当网卡（NIC），将LPU的C2C协议转换为以太网，从而连接到基于Spectrum-X的以太网横向扩展网络。正是通过这一横向扩展网络，LPU才能与解码系统中的GPU相连接。

其次，LPU也会通过FPGA连接到主机CPU，其中FPGA将C2C数据转换为PCIe信号传送给CPU。

第三，FPGA 与背板连接，用于与其他节点中的FPGA 通信，我们认为这有助于管理所有LPU 的控制流程和时序。此外，每个FPGA 还可额外提供高达256GB 的系统DRAM。如果用户希望整个解码过程由LPX完成，可以将这部分内存用于KV Cache。

前面板上设有8个OSFP插槽，用于机架间交叉连接C2C；另外还有2个插槽（可能是QSFP-DD），用于连接Spectrum交换机，该交换机将LPU和GPU接入分散式解码系统。

LPU网络可分为扩展型的“C2C”网络和通过Spectrum-X与NVIDIA GPU交互的横向扩展网络。首先讨论扩展型网络，其可分为三个部分：节点内、节点间/机架内以及机架间。对于机架内的C2C通信，NVIDIA宣布每个机架的扩展带宽为640TB/s，该数值来源于256个LPU *90条通道*112Gbps/8*2方向= 645 TB/s。请注意，NVIDIA采用的是112G 总线路速率，而非100G 有效数据速率。

在每个托盘或节点内，所有16个LPU通过全互联网状结构相互连接。每个LPU模块通过4x100G的C2C带宽与节点内的其他15个LPU相连。需要注意的是，这里的“C2C”并非指NVLink，而是Groq自身采用的扩展式互连架构。这些连接均通过PCB走线实现，因此需要使用规格极高的PCB来支持如此高的路由密度。正因如此，采用了belly-to-belly布局：它减少了所有LPU之间的X轴和Y轴距离，转而使路由方向沿Z轴进行。

LPU 同时将1x100G 信号连接到一个FPGA，每个FPGA 又与8 个LPU 相互连接。两个FPGA 分别拥有8 条PCIe Gen 5 信号连接至CPU。由于LPU 没有直接的PCIe 物理层接口，因此需要通过FPGA 中转才能与CPU连接。

每个LPU连接到服务器中其他15个节点中的一个LPU。每条节点间链路为2x100G，因此每个LPU有15*2*100G的节点间链路输出。这些节点间链路通过铜缆背板实现。此外，每个FPGA还连接到其他节点中的FPGA，每条链路速率为25G或50G，共15*25G/50G，同样通过背板传输。这意味着每个节点拥有16*15*2条用于节点间C2C通信的通道，以及2*15条用于节点间FPGA通信的通道，总计510条通道，即1020对差分信号（包括收发）。因此，背板总共有16*1020÷2=8,160对差分信号对——除以2是因为每个设备的发送通道对应另一个设备的接收通道。

最后是机架间的C2C连接。每个LPU拥有4条100G通道，连接至OSFP机箱，用于在4个机架之间实现LPU之间的互联。对于这种机架间扩展，有多种配置方式可供选择。一种方案是：每个LPU的4条100G通道连接到一个OSFP机箱，每个OSFP机箱则从两个LPU中各接收800G的C2C带宽。然而，为了实现更广泛的网络扩展，推荐的配置是：每个LPU的每条100G通道连接到4个独立的机箱，每个机箱再从8个LPU中各接收800G的C2C带宽。关于机架之间的网络连接方式，采用的是daisy chain结构，即每个Node0连接到另外两个Node0。所有这些功能均可通过100G AEC实现，必要时也可使用光纤传输。

英伟达在2026年GTC大会主题演讲中公布了其CPO路线图，Jensen在次日举行的金融分析师问答会上进一步阐述了相关观点。尽管许多人期待CPO能用于Rubin Ultra Kyber机架内的扩展，但英伟达的实际重点是利用CPO来支持更大规模的世界级计算系统。

在Rubin系列中，英伟达将推出采用Oberon NVL72规格的Rubin GPU，并配备全铜线缆的扩展网络。与预期一致，Rubin Ultra版本仅提供Oberon和Kyber机架两种规格中的铜线缆扩展选项。此外，Rubin Ultra还将提供更大的世界尺寸系统，该系统由8个Oberon机架组成，每个机架搭载72块Rubin Ultra GPU，形成一种名为NVL576的配置。大型世界尺寸系统将采用CPO扩展技术，通过两层全对全网络连接各机架，但机架内部的扩展仍保持铜线缆方式。

CPO的使用将通过另一台大型机架——由8个Kyber机架组合而成的NVL1152实现扩展。尽管NVIDIA技术博客在阐述机架配置路线图时指出：“NVIDIA Kyber将采用类似的直接光互连技术，实现机架到机架的横向扩展，最终演变为一台庞大的全互联NVL1152超级计算机”，但在金融分析师问答环节中，黄仁勋表示，在Feynman系统中NVL1152将“完全采用CPO”。目前对于机架内部是否仍会使用铜缆进行扩展，或CPO是否会取代铜缆，尚存在一些分歧。

英伟达的做法是尽可能使用铜线，而在必须使用光学接口的情况下则采用光学接口。NVL1152架构也将遵循这一原则。显然，NVL1152将在机架之间采用CPO连接，但从GPU到NVLink交换机目前仍采用铜制POR。由于英伟达无法将电通道速率从双向224 Gbit/s提升至单向448 Gbit/s，因此带宽表现并不算出色。

尽管相较于采用die-to-die直连光引擎的方案，448G 高速SerDes在信号边界、传输距离与功耗层面存在巨大难题，但Feynman芯片在制造难度、成本及可靠性方面的约束，使其只能采用铜缆直连交换机的方案。

尽管如此，NVL1152 SKU已存在多年，且路线图极有可能发生变化。目前的基准情况是每台机架内使用铜缆，机架之间采用CPO，但这一情况很容易改变。

目前，对英伟达CPO路线图的最佳估计如下：

英伟达发布了备受期待的Kyber机架式架构更新，这是继Oberon在2025年GTC上首次作为原型展示后，该系列的最新成员。作为原型阶段，该机架架构持续演进，我们注意到一些变化。首先，每个计算刀片的密度有所提升，每块包含4个Rubin Ultra GPU和2个Vera CPU。总共由2个机箱组成，每个机箱包含18块计算刀片，总计36块计算刀片，即一个机架内可容纳144块GPU。最初的Kyber设计中，每块计算刀片集成2块GPU和2块Vera CPU，共4个机箱，每个机箱包含18块计算刀片。

每个交换机刀片的高度是GTC 2025原型的两倍，每块交换机刀片配备6个NVLink 7交换机，每架机架包含12块交换机刀片，因此每台Kyber机架共包含72个NVLink 7交换机。GPU通过2个PCB中平面或每个容器1个中平面与交换机刀片实现全互联。

Rubin Ultra NVL144 Kyber将不会采用CPO进行扩展。不过，NVLink的光学组件即将推出，并将逐步实施。扩展CPO将首先用于Rubin Ultra NVL 576系统，用于连接8个Oberon机架，形成一个双层全互联网络。然而，在机架内部的扩展网络仍会使用铜制背板，目前仅限于小批量或测试用途。

回到Kyber机架，每块Rubin Ultra逻辑GPU提供14.4Tbit/s的单向扩展带宽，通过80DP连接器（72个数据通道*200Gbit/s双向通道=14.4Tbit/s）与中平面板进行连接。若将全部144块GPU连接成全互联网络，则需要72块NVLink 7.0交换芯片，每块芯片以28.8 Tbit/s的单向总带宽运行。

在下方的Kyber Switch Blade图中，可以看到有两个独立的PCB板，每块板上各带有3个开关。该switch blade应配备6个152DP连接器，每个中间平面板对应3个连接器。此图展示的是采用密度较低连接器的原型blade，因此连接器数量为12个，而非量产版本所预期的6个。

每个28.8T NVLink交换机具有144条200G（双向同时）通道，这意味着每个交换机向每个连接器提供24条200G通道。由于距离过长，无法使用PCB走线连接各交换机，因此采用铜制飞越电缆进行连接。这也是交换机与中背板之间留有更大间距的原因，以便为飞越电缆的布线留出空间。

每个NVLink交换芯片通过飞线电缆连接到交换机刀片边缘的接口（144个DP，200Gbit/s双向通道，总速率为28.8Tbit/s），这些接口插入中背板。英伟达正在考虑采用共封装铜线以进一步降低损耗，以防NPC方案无法实现。据我们所知，英伟达已指示供应链采用完全共封装铜线。

尽管英伟达在2026年GTC大会上并未正式讨论，但在供应链中已探索出一种NVL288的概念。该方案设想将两个NVL144 Kyber机架并排放置，并通过机架间的铜制背板连接这两个机架。一种可能的情况是，所有288个GPU都直接互连，但这需要比当前NVLink 7交换机更高的端口基数——而目前的NVLink 7交换机最多仅支持144个端口，每端口200G。

如果部署Rubin Ultra NVL288，每个Rubin Ultra GPU的单向带宽将提升至14.4Tbit/s，需要144个DP的线缆来连接NVLink 7交换机。每台GPU有72个DP，共288台GPU，则总共需要额外20,736个DP的线缆来连接这个更大的世界规模域。这会消耗大量线缆，是可使用的线缆数量上限。

28.8T NVLink交换机的端口基数限制了每个交换机可连接的GPU数量，同时仍需支持跨机架连接。因此，要么必须使用根数更高的交换机，要么在该架构中采用一定程度的资源超分配，同时可能采用类似蜻蜓网络拓扑的结构。这也将减少所需铜缆的数量，从而降低DP所需的铜缆用量。

目前供应链中的所有证据都表明，NVSwitch 7 的带宽与NVSwitch 6 相同，但坦白说这似乎有些不合逻辑。我们相信，NVSwitch 7 的带宽和端口基数实际上是NVSwitch 6 的两倍，如此才能实现全互联拓扑，从系统架构的角度来看，这最为合理。

为了将规模扩展至超过144个GPU，并跨多个机架运行，需要光学组件，因为系统正接近铜线所能实现的最大计算密度。目前，Rubin Ultra NVL576已列入规划路线图，将配备8个低密度Oberon机架。

机架间连接需要使用光学器件，但严格来说尚不确定是采用可插拔光学器件还是CPO，不过CPO的可能性似乎更大。目前的Blackwell NVL576原型机“Polyphe”采用了可插拔光学器件。

使用可插拔组件导致了BOM成本大幅上升，使得从总体拥有成本（TCO）角度来看，这种全互联交换系统难以维持。然而，有理由相信Rubin Ultra NVL576将在Feynman NVL 1,152之前以测试量投入生产，届时我们将看到CPO规模扩展的实际产能提升。

Feynman将三大核心技术创新将全部集成于单一平台：混合键合/SoIC、A16、CPO以及定制化HBM。

尽管Feynman采用CPO的计划已列入路线图，但问题在于其程度如何？机箱内部的互连将基于铜线还是光纤？

随着AI工作负载对数据处理、预处理和任务协调的需求日益增加，CPU的使用需求也在上升，而强化学习进一步加剧了这一趋势，因为CPU可并行运行模拟、执行代码并验证输出。由于GPU的扩展速度超过CPU，为了充分利用其性能，需要更大的CPU集群，这使得CPU成为日益突出的瓶颈。

Vera独立机架直接解决了这一问题，通过将256个CPU集成到单个机架中，实现了前所未有的高密度配置——这种设计需要采用液冷技术。其设计原理与NVL机架的理念一致：紧密封装计算资源，使铜线互联能够覆盖机架内所有组件，从而无需在主干上使用光模块。铜线带来的成本节约远超额外的冷却开销。

每个Vera ETL机架包含32个计算托盘，其中16个位于上方，16个位于下方，对称地排列在中间四个1U MGX ETL交换机托盘（基于Spectrum-6）周围。这种对称式布局是经过精心设计的：可最大限度减少计算托盘与主干脊线之间的线缆长度差异，确保所有连接均在铜缆范围内。从每个交换机托盘的后方端口连接至该铜制主干脊线，用于机架内部通信；同时，32个前置OSFP提供光缆连接，实现与POD其余部分的互联。

机架内的网络采用Spectrum-X多平面拓扑结构，将200 Gb/s的通道分布在四个交换机上，实现全互联的all-to-all 连接，同时保持单一的网络层级。每个计算托盘内配备8个Vera CPU，因此每台机架可支持256个CPU，所有CPU通过单个扁平网络以以太网方式相互连接。

1.CMX 

CMX 是英伟达的上下文内存存储平台。CMX 解决了现代推理基础设施中日益突出的瓶颈问题：支持长上下文和智能工作负载所需的KV 缓存正迅速扩张。

KV cache的大小与输入序列长度和用户数量成正比，是预填充性能（首次token时间）方面的主要权衡因素。在大规模应用中，设备上的HBM容量不足。主机DRAM通过额外的一层缓存扩展了HBM的容量，但也面临每个节点总内存容量、内存带宽和网络带宽的限制。此时，NVMe存储可作为额外的KV缓存卸载方案。

NVIDIA在1月的CES上，于推理内存层次结构中推出了“全新”的中间存储层级“G3.5”。G3.5 NVMe层级位于G3 DRAM与G4共享存储（同样为NVMe、SATA/SAS SSD或HDD）之间。此前该技术被称为ICMS（Inference Context Memory Storage），现更名为CMX平台，这不过是通过Bluefield网卡连接到计算服务器的存储服务器的又一次品牌重塑。与NVMe架构唯一的区别在于，从Connect-X网卡换成了Bluefield网卡。

2.STX 

为了扩展CMX的范围，NVIDIA还推出了STX。STX是一种参考机架架构，采用基于NVIDIA BF-4的存储解决方案，用于补充VR计算机架。该参考架构可精确规定在特定集群中需要多少块硬盘、Vera CPU、BF-4 DPU、CX-9网卡以及Spectrum-X交换机。

与VR NVL72中的BF-4（由一个Grace CPU和一个CX-9网卡组成）不同，STX参考设计中的BF-4包含一个Vera CPU、两个CX-9网卡和两个SOCAMM模块。每个STX机箱内包含两个BF-4单元，总计包含两个Vera CPU、四个CX-9网卡和四个SOCAMM模块。整个STX机架共包含16个机箱，意味着总共拥有32个Vera CPU、64个CX-9网卡和64个SOCAMM模块。

STX的发布展现了英伟达一贯的实力，他们列出了所有主要存储厂商作为STX的支持方，包括AIC、Cloudian、DDN、戴尔科技（Dell Technologies）、Everpure、日立万能（Hitachi Vantara）、HPE、IBM、MinIO、NetApp、Nutanix、Supermicro、Quanta Cloud Technology（QCT）、VAST Data和WEKA。

BlueField-4、CMX 和 STX 三者共同代表了 NVIDIA 在存储层设计集群方式上的更广泛努力。NVIDIA 已掌握计算和网络层，并正逐步向存储、软件及基础设施运维层拓展。

原文链接：

https://newsletter.semianalysis.com/p/nvidia-the-inference-kingdom-expands