LongCat-2.5在预训练和监督微调阶段均采用长序列训练。针对国产AI加速器单卡显存不足80GB的限制,训练系统围绕超节点架构重新设计并行策略。LongCat-2.5根据超节点拓扑配置并行组,FSDP和EP并行度均与单个超节点的卡数保持一致,CP并行度不超过该卡数,使参数AllGather、专家TokenAlltoAll和KVAllGather尽可能在超节点内部的高带宽互联域中完成。系统还通过混合词表并行,对基础词嵌入层、LMHead和N-gram嵌入层进行分片,进一步降低显存占用。针对大规模专家并行中的负载不均衡,LongCat-2.5基于MoonEP引入阈值触发的动态专家复制机制,仅在负载不均衡达到预设阈值时启用复制,以平衡通信成本与负载收益。通过提前生成图像Token,训练计算图不再包含视觉编码器。系统可以根据已知的图像Token数量,提前估计数据打包和打散时的多模态负载比例,使不同数据并行Rank上的模态占比更加接近。LongCat-2.5还引入双重分片FSDP。模型参数在超节点内的FSDP域中分片,FP32主权重和优化器状态则通过HSDP副本进一步跨FSDP域分片,在保持参数通信效率的同时减少常驻显存。系统通过批量执行梯度操作、合并指标归约、CPU 绑核和 NUMA 感知调度,降低主机侧开销。LongCat称,经过上述优化,该FSDP配置在长序列SFT任务中的单卡吞吐量较DDP基线提升86%。 06.结语:原生多模态模型开始向长程工程执行推进