今天凌晨,做晶圆级人工智能芯片的 Cerebras 宣布:把推理拆成两段的方案,已经在自家的推理云上正式投产。
Cerebras 是一家做人工智能芯片的公司。它的芯片比较特别,是把整张晶圆做成一块大芯片,一直以推理速度很快出名。
今天的新闻,不是发布新芯片,也不是和 AMD 合并,或成立合资公司。
AMD 是一家大芯片公司。这回用上的,是它给数据中心用的 Instinct 显卡。
一次推理,其实可以拆成两段来看。
前面一段,是先读懂你的提示词,把中间状态准备好。
后面一段,是再一个字一个字地生成回答。
现在这套已经投产的做法是:前面这段交给 AMD 的显卡来做,后面生成回答,还是跑在 Cerebras 自己的系统上。
这样做的好处,说白了就是:Cerebras 自己的系统可以专心生成,不用再分出算力去处理提示词。
直觉上,同样的电、同样快的生成速度,能多服务不少请求。
官方在生产环境里自己测过:在同样快的生成速度下,每兆瓦的吞吐量,是只跑 CS-3 时的 5 倍。
这是 Cerebras 自己的测量,对照对象就是只跑自家这套系统,不是拿去和英伟达比,也不是和所有显卡比。

官方这张图,是生产环境里打开这套方案前后,每兆瓦吞吐量的变化。图源:同上。
这套方案,已经在 Cerebras 的推理云上线。
合作伙伴也可以按官方给的参考架构,自己部署。
软件上,可以对接整套拆分方案,也可以只用生成这一段的开发工具。
官方提到,两段之间要用 KV Portal 来搬运中间状态,前段也可以接 vLLM、SGLang 这类常用推理引擎。

官方给出的软件请求流程:前段引擎、KV Portal、生成引擎,下面是参考架构。图源:Cerebras 今天凌晨的官方文章。
已经在试用的合作方,官方点名了亚马逊云科技、Fireworks AI、Gimlet Labs 和 General Compute。
现在正在向更多合作伙伴开放。
想了解或洽谈部署,可以走官方的合作页面。
官方博客在这里,文末「相关链接」还会再放一遍:
• Cerebras 官方博客
https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference
AMD 官方也转发了这条消息,等于确认了这套生产方案:显卡做前段,Cerebras 做生成。
再早一点,今年 10 月 1 日,Cerebras 发过一篇技术说明。那时还是早期测试,没有点名 AMD,也没有说已经投产。
今天的新闻,是这套方案正式进入生产。
官方没有提到,这套云服务是否在中国可用。
相关链接
• Cerebras 官方博客
https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference
• Cerebras 官方帖
https://x.com/cerebras/status/2122791291033428453
• AMD 官方转发
https://x.com/AMD/status/2122804439883129014
• 合作咨询页
https://www.cerebras.ai/build-with-us
• 今年 10 月 1 日的技术说明(早期测试,不是今天这篇投产公告)
https://www.cerebras.ai/blog/disaggregated-inference-from-the-ground-up