揭秘超节点互连的新路线——Co-Fabric融脉，把“总线”搬到主机域外

电子发烧友网报道（文/梁浩斌）如果回顾过去两年AI算力的演进，不难发现竞争的焦点正在从单颗芯片，转移到一整个机柜。

今天的大模型的参数早已从千亿涨到万亿，单卡早已装不下，模型必须被切开、分摊到成百上千颗芯片上。而一旦切开，芯片之间就要不停地交换数据，当模型越大、切分得越细，交换就越频繁。但同时也出现一个反直觉的现象：卡装得越多，单卡的利用率反而越低。

公开研究显示，MoE （混合专家模型）大模型采用专家并行训练时，All-to-All 通信可占到单步训练时间的 30%-40%；某大模型厂商的实测数据则显示，其大模型在推理过程中，约 47% 的前向计算时间花在芯片之间的通信上。当 MoE 架构成为主流、Agent 任务一轮轮反复调用模型，这种“等待时间”还会被成倍放大。

显然，多芯片协同带来的通信开销，已经成为无法忽视的问题。过去，业界给出的解法都是把计算域做大，由此延伸出两条路径。总线路线，比如英伟达用NVLink把72颗GPU整合成一个域；另一条路线，把总线概念扩展到网络，比如华为用灵衢把384颗、乃至8192颗NPU连成一台计算机。两套方案从增加互连带宽，到提高互连规模，一个把路修得更宽，一个把小区容纳的户数扩得更大。

而浪潮信息在最近发布的技术论文《Co-Fabric: Breaking Host-Domain Boundaries for Unified xPU Interconnection》中，提出了第三种答案：Co-Fabric（融脉架构）。这套架构与业界普遍做法的区别在于，没有一味在带宽和规模上“死磕”，而是靠成熟器件与精简协议栈，在拿到有效带宽的同时，从跨域低时延和高可靠性入手，支撑更大规模的xPU高效协同。

超节点的困局：卡越多，等待越久？

要理解这个困局，得回到超节点本身。

在8卡服务器里，卡与卡之间的数据交换走的是机箱内的铜缆和总线，路径短、协议轻；一旦跨出机箱外，数据就要经过网卡、光模块、交换机，再把协议栈走一遍。

超节点的做法，是把几十甚至几百张卡装进一个域，用一套专用的高速互连把它们连起来，让它们在逻辑上像一张卡那样工作。具体来说就是，让几十甚至上千张卡上的内存不再“各自为战”，机柜内每一个机箱，每一颗芯片都能随意读取其他卡上的内存数据，不用关心具体的卡在哪个位置。

听起来不难，但要实际工程落地，首先得解决数据“搬运”环节的冗余问题。打个比方，过去的8卡服务器，相当于是8个人在一个房间内讨论，因为距离近，交流几乎没有障碍；但超节点是在一个几百户的小区，还要做到每一户都可以同时听清所有人说话，这个时候显然需要一种新的传话方式。

对于超节点来说，就要同时做到以下三件事。

第一件事是统一编址。所有卡的内存得有一套统一的“门牌号”体系，不能各家一套独立编号体系。因为当程序要访问另一张卡的内存时，还要先知道“这一户用哪一套门牌体系”，再翻译成实际“门牌号”，才能找到这张卡的位置。

第二件事是原生内存语义。意思是所有卡都能直接读写其他卡的内存，就像拥有了“小区每一户的钥匙”，知道“门牌号”后，直接“开门”就能拿到数据。

传统网络做不到这一点，只能先发一条消息给“邻居”，请对方把信息读出来后，再把结果传回来；如果对方“不配合”，数据就没法拿到手。这样一来一回，时间都在这个过程中消耗掉了。

第三件事是硬件级低时延。意思是读写动作必须由硬件完成，不能每次都惊动CPU去调度，目的是减少软件的参与，从而减少数据处理时间、降低时延。

好比当你有了“门牌号”、有了“钥匙”后，那么“钥匙”放在物业处还是放在家里，有截然不同的效率差异。前面提到的软件参与过程，就像你要去邻居家获取数据，需要先去物业处登记，领钥匙，然后取完数据后又要把钥匙还回去，在这路途中时间白白浪费了。

硬件级低时延要做的是，“钥匙”直接在自己手里，地址翻译、路由、搬运全在交换芯片和链路等硬件里完成，全程不需要软件参与，于是就能降低时延。

做到这三件事，跨卡通信才算真正成立。但对超节点来说，这只是入门门槛，在实际的大模型部署中，还会遇到新的问题。

以MoE（混合专家模型）为例，模型里有很多“专家”，分散放在不同芯片上，每个Token只交给其中几个专家处理。然而一颗芯片上常常堆着成千上万个Token，它们要找的专家散落在几十到上百颗芯片上，平均下来，这颗芯片几乎得跟其余每一颗都打一遍交道。这也被称为All-to-All通信。

问题就出在访问的“次数”上。总等待时间约等于单次时延乘以访问次数，前面三个方法降的是单次时延这个因素，但与此同时，访问次数正随着大模型专家数量和并行规模一起暴涨。即便单次时延已经降下来，绝对等待时间仍会随规模上升；更何况成千上万次访问还会同时涌向同一条链路，挤在一起“排队”。

专家越多，交换次数涨得越快，“排队等待”的情况越严重。于是出现一个反直觉的结果：卡装得越多，利用率反而越低。

当然业界也有各自的解决方案，有人去加宽链路，也有人扩大规模。

英伟达、华为、浪潮信息的不同解法

作为最早把机柜级超节点做成量产形态的英伟达，选择把路修到最宽。从NVL72开始，单颗GPU通过NVLink拿到的双向带宽达到1.8TB/s，整柜总带宽130TB/s，再用NVSwitch做全互联，72颗GPU里任意两颗都能直接通信。

客观地说，单域之内，它在成熟度和生态完整度上仍是标杆，CUDA生态成熟、工具链最完整，开发者的迁移成本最低。但代价在于封闭与昂贵，协议私有，只能连自家GPU；另一方面是机柜内靠铜缆连接，一旦出了机柜就要转光、走Scale-Out网络，跨域时还要经历“总线-网络-总线”的协议翻译，相当于在域内省下的时间，在跨域的过程中又还回去一部分。

华为的选择是把“小区”扩建到更大。CloudMatrix 384用384颗昇腾NPU加192颗鲲鹏CPU做全对等互联，靠3168根光纤把计算域串联起来，BF16算力达到300 PFLOPS；华为2025年9月发布的Atlas 950 SuperPoD进一步推到8192卡、1152TB内存，互联带宽达16.3PB/s，往返时延（RTT）低至3微秒。

这条路线的逻辑可以从两个层面来看。首先最显而易见的层面是，单卡算力有代差，就靠堆规模支撑算力。

更关键的层面是，“小区”规模越大，能装进同一场对话的芯片就越多。专家并行的交换每个MoE层都要进行一次，次数多但数据量少，时延在总开销里占了大头，所以最好整个装进同一个高速域。域一旦装不下，就有同一批协同工作的芯片被迫跨出域外，时延就会跳一个台阶。

把域扩大384卡乃至8192卡，本质是将这些协同工作的芯片尽量收纳进同一个域。代价是域越大、线缆越长，所以只能靠光通信；但同时光模块多也带来成本高、生态封闭，功耗高等问题。

而浪潮信息选的方向，是直接修改协议栈。浪潮信息Co-Fabric融脉架构通过四层精简协议栈、端口 ID 跨域路由与全局统一地址空间，实现硬件级的跨域低时延路由。同时得益于协议栈的重构，互连部分也无需用到昂贵的以太网网卡和交换设备，成本、功耗都得到降低。

Co-Fabric：把“总线”搬到主机域外

现有的多芯片互连做法，其实可以归为两个方向。

一个方向是总线类方案，典型代表是NVLink。这种方案域内每台设备都挂在同一条总线上，两两之间直接对话、还能读写对方显存；但缺点前面也提到了，如果定义xPU通向CPU和主机侧的方向叫北向（跨域出机柜），通向其他xPU和外设的方向叫南向，那么NVLink解决的是xPU南向互连域问题，北向跨域依然会带来显著的通信开销增加。

另一个方向是网络类方案，RoCE 是代表。这种方案能跨主机，但远端内存得先注册、换密钥、管队列，每台主机还各有一套地址空间，没有统一门牌，链路上还会丢包。就好比地铁能到全城，代价是买票、换乘、安检等流程繁琐。

一边是门内的速度，一边是门外的覆盖，此前没有方案能兼得，因为两者对协议栈的要求正好相反。要快，就要求协议栈层数少、软件介入少；要广，通用网络就得多套几层来兼顾兼容与异构，代价是每层封装都要加时延。

Co-Fabric要做的事，是把总线这套用法搬出主机域，扩展到整个超节点。

行业内的互连方案，默认要用通用件，一般采用标准网卡、光模块，再套一层层协议转换。通用意味着谁都能用，但同时也带来了繁琐的步骤。Co-Fabric直接换了个思路，不用通用件，网卡拿掉改Retimer直连，它只放大信号，不用做协议转换。少了这套通用流程，快不必再靠砍层数，广也不必再靠加层数，直接开辟了新路线。

同时Co-Fabric协议栈也从传统的四到七层砍成四层，分别是：媒介层、链路层、Fabric层、语义层。

简单来说，媒介层管的是怎么把数据送出去；链路层管送丢了怎么办；Fabric层管地址怎么映射、包往哪走；语义层管内存怎么读。

Co-Fabric在媒介层上把网卡换成了Retimer。在论文里提到，RoCE上信号出芯片就有损耗；Co-Fabric改用Retimer后，因为只需要把信号放大整形，不需要进行协议转换，因此全链路上都没有速率损失。

关键是采用的器件是成熟的32Gbps SerDes，虽然单lane速率不高，但是整条链路不掉速，聚合下来的有效带宽在大包场景能达到RoCE的2至5倍。元脑超节点服务器互连部分的TCO最高可降低80%、互连部分功耗降低5%，就来自用低成本的Retimer和Co-Fabric交换机替换掉了昂贵的以太网网卡和交换设备。

另外值得一提的是链路层。业界习惯把低时延和高可靠当成两个指标分开说，但在超节点里它们互为因果。

在超节点里，最贵的操作是重传。丢包、上层重试一次，可能就浪费掉微秒级的时间；而推理是流水线作业，一次时延抖动会让整批Token一起卡住。

业界通常的解法是“无损网络”，靠PFC暂停帧做到不丢包。代价是容易引发队头阻塞，严重时甚至死锁。

Co-Fabric的思路是换个位置解决这件事，把可靠性直接做进链路层。链路层用信用流控（credit flow control）控制发送节奏，收到多少信用就发多少数据，从源头上不给网络制造拥塞；同时配上ACK/NAK的选择性重传，只重发真正出错的部分，不牵连整条链路。

换句话说，低时延是和可靠性一起设计出来的。

Fabric层用的是Port-ID硬件路由。针对总线方案跨域延伸受限问题，Co-Fabric将全局唯一的Port-ID编码在报文头部，由交换机解析Fabric层信息并完成硬件路由，无需CPU逐包参与转发决策。这个部分的关键在于，将跨域数据转发的关键决策交由硬件完成，能够减少主机处理环节对通信效率的影响，同时转发表随端口数线性扩展，可弹性扩容至千卡及更大规模，为更多xPU接入同一互连系统提供统一寻址的转发基础，构建百纳秒级低时延的内存语义互连域。

而统一寻址靠的是“影子设备”，这也是Co-Fabric架构设计的亮点之一。交换机在每台主机的设备树里注入一批虚拟端点，相当于给系统“假装插上”了这些卡，为每个下游xPU分配一段全局不重叠的内存地址区间。

结果是，所有主机看到的是同一批设备、同一个地址视图，分不清对面那张卡究竟在本地还是远端。这就落到了协议栈最上面的语义层：对开发者来说，在相应硬件、驱动和内存映射条件满足时，可以沿用CUDA编程范式，通过本地load/store指令访问远端xPU内存，不需要再走RDMA那套注册内存、交换密钥、管理队列的繁琐流程。

实测已跑通，下一步扩展到更大规模

Co-Fabric并不只是停留在理论上的方案，目前已经在真机跑出实测数据。

浪潮信息在论文中给出的测试环境是64颗xPU、两个机柜。每柜4个8卡节点、2台Co-Fabric交换机，每台内含2颗交换芯片、单芯片至少8个16-lane、32Gbps/lane端口；节点与交换机之间用DAC铜缆直连，每个节点出8颗Retimer。对照基线是8张400Gbps网卡加一台64口400G以太网交换机，端口与卡一比一。

结果是：小于4MB的小包场景下，通信时延降低了80%-90%；4MB到64MB的大包场景降低50%-85%。AllReduce带宽在小包下提升5到15倍，大包下提升2到5倍。

这套64卡系统的拓扑也值得一提，域内8卡走Full Mesh点对点直连，跨域则走Rail-only，只把同编号的xPU相连，用更少的连线换更大的规模，两者拼成一个3D Mesh。

另外，浪潮信息还披露了Co-Fabric已在元脑SD200、SD200 Ultra等超节点上完成验证。其中SD200 Ultra紧耦合128颗本土AI芯片，8TB统一编址显存、64TB内存，单机即可运行2.8万亿参数的Kimi K3，AllReduce通信时间降至约原来的三成，Token生成时延低至5.85毫秒，单用户约170 tokens/s。

这些数字说明这套架构已经能跑通，并且效果确实显著。论文还给出了另一种跨域选项，两级CLOS组网保持对称带宽，已实现32卡单服务器和超百卡的机柜级部署。团队的下一个目标，是把域推到更多机柜。

另外是让网络参与计算。Fabric层协议报文头里有一个Fabric Type 字段，除了点对点，还能表达组播、广播和网内计算。但目前交换机只会在转发路上做相加、取最小、取最大三种运算，够应付一部分场景，却撑不起完整的集合通信。论文的说法是，下一步要把集合操作进一步卸载到 Fabric上，也就是让网络把这部分的工作接过去，端侧只负责发起和收结果。

写在最后

Co-Fabric的价值，不仅是带来了超节点领域的新思路，更在于它给出了xPU总线式互连一条可验证的工程路径。当然，这条路能走多远，最终还要看规模和工程落地成果。64卡的实测是一个起点，千卡、万卡能不能延续这样的时延表现，跨机柜之后Rail-only的拓扑会不会成为新的瓶颈，都还需要更多数据。

但至少现在可以确定一件事，超节点的竞争，不再只是拼规模、拼带宽，而是加入了新的方向：高可靠的跨域低时延互连。

点击“阅读原文”，查看论文