Cerebras、AMD 把推理拆成两段

机智流 2026-11-18 06:29

今天凌晨,做晶圆级人工智能芯片的 Cerebras 宣布:把推理拆成两段的方案,已经在自家的推理云上正式投产。

Cerebras 是一家做人工智能芯片的公司。它的芯片比较特别,是把整张晶圆做成一块大芯片,一直以推理速度很快出名。

今天的新闻,不是发布新芯片,也不是和 AMD 合并,或成立合资公司。

AMD 是一家大芯片公司。这回用上的,是它给数据中心用的 Instinct 显卡。

一次推理,其实可以拆成两段来看。

前面一段,是先读懂你的提示词,把中间状态准备好。

后面一段,是再一个字一个字地生成回答。

现在这套已经投产的做法是:前面这段交给 AMD 的显卡来做,后面生成回答,还是跑在 Cerebras 自己的系统上。

这样做的好处,说白了就是:Cerebras 自己的系统可以专心生成,不用再分出算力去处理提示词。

直觉上,同样的电、同样快的生成速度,能多服务不少请求。

官方在生产环境里自己测过:在同样快的生成速度下,每兆瓦的吞吐量,是只跑 CS-3 时的 5 倍。

这是 Cerebras 自己的测量,对照对象就是只跑自家这套系统,不是拿去和英伟达比,也不是和所有显卡比。

Cerebras、AMD 把推理拆成两段图1

官方这张图,是生产环境里打开这套方案前后,每兆瓦吞吐量的变化。图源:同上。

这套方案,已经在 Cerebras 的推理云上线。

合作伙伴也可以按官方给的参考架构,自己部署。

软件上,可以对接整套拆分方案,也可以只用生成这一段的开发工具。

官方提到,两段之间要用 KV Portal 来搬运中间状态,前段也可以接 vLLM、SGLang 这类常用推理引擎。

Cerebras、AMD 把推理拆成两段图2

官方给出的软件请求流程:前段引擎、KV Portal、生成引擎,下面是参考架构。图源:Cerebras 今天凌晨的官方文章。

已经在试用的合作方,官方点名了亚马逊云科技、Fireworks AI、Gimlet Labs 和 General Compute。

现在正在向更多合作伙伴开放。

想了解或洽谈部署,可以走官方的合作页面。

官方博客在这里,文末「相关链接」还会再放一遍:

• Cerebras 官方博客

https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference

AMD 官方也转发了这条消息,等于确认了这套生产方案:显卡做前段,Cerebras 做生成。

再早一点,今年 10 月 1 日,Cerebras 发过一篇技术说明。那时还是早期测试,没有点名 AMD,也没有说已经投产。

今天的新闻,是这套方案正式进入生产。

官方没有提到,这套云服务是否在中国可用。

相关链接

• Cerebras 官方博客

https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference

• Cerebras 官方帖

https://x.com/cerebras/status/2122791291033428453

• AMD 官方转发

https://x.com/AMD/status/2122804439883129014

• 合作咨询页

https://www.cerebras.ai/build-with-us

• 今年 10 月 1 日的技术说明(早期测试,不是今天这篇投产公告)

https://www.cerebras.ai/blog/disaggregated-inference-from-the-ground-up

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AMD
more
刚刚,李飞飞正式加入AMD,与苏姿丰同框
AMD邀请参加技术峰会|AI Agent FPGA设计、GPU、嵌入式等(12月1日 深圳)
AMD X 火山引擎 第六代 EPYC 云实例,为云上多元工作负载带来新能力
“芯片女王”联手“AI教母”:AMD收购World Labs,70人团队凭啥人均卖出7.8亿元?
黄仁勋之后苏妈成为旗帜,AMD三季度数据中心收入85亿美元,82亿美元收购World Labs
并购完成,李飞飞正式率队加入AMD!苏妈亲自欢迎
AI Agent FPGA设计、GPU、嵌入式等|AMD邀请参加技术峰会(12月1日 深圳)
行业速递丨AMD Zen 6集成RISC-V可信执行环境、进迭K3斩获新光产品奖、英飞凌推出RISC‑V汽车MCU
李飞飞把世界模型装进掌机!交出AMD收购后首个结果
亚马逊显卡销量格局生变:AMD超越英伟达,AI战略导致消费级供应短缺
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号