云天励飞WAIC公布三款专用推理芯片路线图：以分离式架构破解大模型推理“效率墙”

7月18日，在2026世界人工智能大会（WAIC）上，云天励飞公布了面向未来两年多的AI推理芯片路线图。公司计划推出DeepVerse100P、DeepVerse100D和DeepVerse100L三款云端大算力推理芯片，分别针对Prefill、Decode和Decode FFN三个关键环节进行专用优化，并推动三款芯片在万卡异构集群中协同运行。

“推理不是一种负载，而是多种负载的组合。”云天励飞副总裁罗忆在接受半导体行业观察采访时表示，不同推理阶段对计算、访存和通信的需求差异很大，让一颗芯片同时应对这些负载，虽然具备通用性，但未必能获得最优的系统效率。

从计算特征来看，Prefill需要集中处理输入上下文，对计算能力要求较高；Decode则采用逐Token生成方式，对内存带宽和数据访问效率更加敏感。随着MoE等模型架构发展，Decode内部的Attention与FFN也进一步分化：Attention频繁访问相关数据，对访存和通信更敏感；FFN则保留了更明显的计算密集特征。

这种负载差异会在大规模部署中被进一步放大。传统混部架构让Prefill与Decode共享计算和带宽资源，长上下文Prefill可能造成资源抢占，进而影响Decode生成吞吐。与此同时，当Attention与FFN共用通用资源时，计算、内存和通信能力也难以始终保持匹配。

针对这一问题，DeepVerse100P面向百万级上下文Prefill场景，通过将Prefill负载与Decode侧分离，降低资源竞争对逐Token生成的影响。其核心并非单纯增加峰值算力，而是让计算资源按照Prefill的负载特征进行配置。

DeepVerse100D面向Decode环节，重点解决内存带宽和多节点通信问题。按照云天励飞公布的规划，该芯片拥有数倍于主流芯片的内存带宽，支持1024卡Scale-up及光互联系统架构。系统可按需建立光路直连，并根据任务动态重构光路，从而减少传统多跳电交换和静态组网中的排队、拥塞及中间转发开销。

罗忆表示，在大规模Decode负载中，通信阻塞和尾延迟会直接影响逐Token输出的稳定性。通过动态光互联减少不必要的多跳转发，是DeepVerse100D面向集群级效率进行优化的重要组成部分。

另一款Decode专用芯片DeepVerse100L则面向计算密集型的FFN环节，采用3D Memory架构，相比主流HBM大幅提升内存带宽。结合低延迟芯片互联和激活数据快速传输，DeepVerse100L将进一步提高计算与通信的并行效率。

两颗Decode芯片并非彼此替代，而是分别匹配Attention和FFN的负载特征。加上负责Prefill的DeepVerse100P，云天励飞由此将推理不同阶段的资源解耦进一步延伸到芯片级。

单颗芯片的专用优化只是起点。在万卡规模的推理集群中，资源等待、通信阻塞和尾延迟都会影响整体效率。云天励飞计划按照Prefill、Decode Attention和Decode FFN的负载特征，分别配置相应芯片和资源池，再通过高速互联形成协同运行的异构算力系统。

这一方案围绕Token生成全过程进行系统优化。通过分离不同推理阶段，集群可以减少负载之间的资源干扰，并按实际需求配置计算、访存和通信资源，从而提高资源利用率，持续降低单位Token成本。

三款芯片、三种负载和万卡异构集群，也对软件栈提出了更高要求。云天励飞的IFWA软件栈覆盖模型开发、编程和系统等层级，围绕Transformer架构持续完善PyTorch ATen算子适配，并加强对vLLM、SGLang等主流推理框架的支持。公司还开源Houmao多Agent异构编程框架，并将成熟的Triton算子能力融入FlagOS，以减少不同国产硬件平台在算子适配上的重复投入。

“我们并不打算另建一套封闭的软件生态。”罗忆表示，“真正要解决的是降低国产算力的使用门槛，让模型开发者用他们熟悉的框架和工具，就能在DeepVerse平台上高效运行。”

从面向特定推理负载的芯片级优化，到三款芯片协同和万卡异构集群，再到IFWA软件栈，云天励飞正在将AI推理芯片的优化边界由单颗性能延伸至集群级效率。面向“百亿Token一分钱”的长期目标，公司希望通过芯片、互联、软件和系统协同，形成服务于大规模Token生成的“推理工厂”，持续降低单位Token成本。