过去两年，AI算力市场最热闹的生意是GPU。云计算厂商投入巨额资金建设AI数据中心，大家讨论的指标高度一致：每秒能够生成多少Token，推理成本能够降低多少。
当AI开始自己干活，考核的目标不同了。
让Claude Code或者Codex修复一个程序Bug。模型分析代码、生成补丁，随后还要创建环境、安装依赖、编译、执行测试。
如果测试失败，就把错误信息交回模型，再修改一次。GPU负责其中的模型推理，大量执行工作落在CPU身上。
模型写代码越来越快，代码能否运行、测试能否及时结束，开始影响整个任务的完成时间。
在连续的任务流水线里，如果CPU处理工具调用的速度跟不上，下一轮模型推理的请求也会延后。调度能力不足时，昂贵的GPU可能出现等待。
10月22日，Arm在智能体AI交流中提到，评价AI基础设施，除了看Token生成速度，还要看智能体到底完成了多少工作。
在测试机构Signal65核验的七项CPU工作负载中，Arm AGI CPU（Arm面向数据中心推出的新一代CPU，采用Neoverse V3核心）的单芯片平均成绩比AMD EPYC 9755高约20%；按相同机架功耗预算计算，平均性能优势扩大到99%。
单颗芯片领先20%，为什么装满整个机架就能领先99%？
Part 1
聊天机器人，用户提问、模型作答，主要工作围绕模型推理展开。
智能体AI处理的任务长得多：
◎ 软件开发智能体要阅读项目、修改代码、运行测试；
◎ 企业智能体要查询订单、操作数据库、生成报表；
◎ 研究型智能体可能连续检索资料、调用分析工具、执行模拟计算。
这些任务有个共同特点：模型每完成一轮思考，就可能触发一串外部操作。
软件开发尤其典型。创建运行环境、解决依赖、编译、测试、分析报错，一次修复可能循环多轮。模型越擅长提出解决方案，周围的工具执行速度就越值得关注。
GPU适合大规模并行执行神经网络；CPU还得处理大量条件分支、操作系统调度、数据库访问、文件系统和工具执行。
除此之外，还有一种容易被忽略的工作：为智能体建立沙箱。
智能体可能运行未经人工逐行检查的代码，也可能访问不同客户的数据。
服务平台通常需要用容器或虚拟机把执行环境隔离开，Docker、Firecracker、gVisor是常见选择。
一个任务启动一次沙箱，看起来只是几百毫秒到数秒；大量任务反复启动时，这些延迟会不断累积。
Signal65单独测试了沙箱创建时间。以轻量级虚拟机Firecracker冷启动为例，所测试的单路128核Arm AGI CPU系统为803毫秒，对比的双路AMD EPYC 9965系统为2763毫秒。
两者配置不同，数字对应的是此次特定测试环境，但足以让人看到沙箱运行时开销对智能体的影响。
不同智能体对CPU的要求还不一样。
◎ 软件开发任务持续时间长，编译和测试效率很重要；
◎ 企业客服、订单处理的单次操作短，可能需要同时服务成千上万个请求；
◎ 研究型智能体会把大量数据检索和数值计算带进来；
◎ 机器人还涉及对实时延迟和抖动的严格要求。
未来衡量CPU能力，不能只问单核多快、多核跑分有多高，在响应时间要求不变的情况下，一台服务器究竟能稳定处理多少智能体任务。
Part 2
AGI CPU在七项测试中的平均每机架性能为AMD EPYC 9755的1.99倍。
七项工作负载中，Arm赢了五项。
◎ NGINX Web服务领先20%；
◎ Terminal-Bench 2领先9%；
◎ SWE-bench任务回放领先13%；
◎ 到了MySQL数据库，Arm的成绩是AMD的88%；
◎ Milvus向量数据库为95%。
七项取算术平均，单芯片领先约20%。
从20%到99%的变化，来自服务器的功耗与部署数量。
Signal65使用24kW机架功耗模型：双路Arm AGI CPU服务器额定功耗为950至1050W，双路AMD EPYC 9755服务器为1700W。按照报告中的配置，前者可以放入21至23台服务器，后者放入13台。
单颗处理器的差距，再叠加固定功耗预算下能够装入多少服务器，最终反映在整机架可承载的CPU工作量上。
数据中心正在受到电力、散热和机房空间的约束。运营商买的是一整套能够长期运行的系统。处理器性能、整机功耗、内存容量、网络配置和散热，都会影响每个机架的产出。
不过，1.99倍是模型化的机架级CPU负载结果，还不能直接换算成真实AI智能体完成任务的速度翻倍。
测试有意排除了GPU推理和CPU与GPU之间的网络传输等影响，SWE-bench采用任务回放，目的在于更清楚地观察CPU承担的部分。
机架模型按硬件线程配置内存。若改为按物理核心配置内存容量，七项测试的机架平均优势会从1.99倍变为约1.81倍。
同样一组处理器，服务器设计和内存口径改变，最终数字也会变化。某种CPU能否节约机架、电力和散热预算，要放进自己的应用、内存配置和软硬件环境里算账。
Part 3
生成式AI最受关注的硬件是GPU，但一个智能体完成任务需要模型服务、数据库、缓存、网络、文件系统和调度系统持续配合。模型越强，能够接手的任务越复杂，周围这些系统需要承受的负担也可能越来越重。
企业采购大量昂贵的GPU之后，能不能把它们充分利用起来？
如果CPU无法及时处理沙箱、数据库请求和工具调用，任务流水线就会出现等待。CPU执行环节越快，更多请求就有机会进入下一轮推理；同时配合合理的批处理与调度，才可能提高GPU利用率。
CPU在AI系统里的角色正在扩大。它要承担模型服务调度、上下文检索、工具执行、沙箱管理等工作。Arm也开始把CPU机架和AI加速器机架作为需要协同设计的基础设施来看待。
Arm推出AGI CPU，希望用Neoverse V3核心、高密度部署和较低功耗争取更多云数据中心订单。AMD、英特尔也在围绕智能体负载强化服务器平台，英伟达则通过Vera等CPU产品完善自己的AI系统。
接下来，这些厂商面对的客户问题会更加具体：
◎ 软件开发：同样的时间能完成多少次编译、测试与修复循环？
◎ 企业自动化：在响应时间达标的情况下，每个机架能处理多少工单？
◎ 研究与检索：大量向量查询、数据处理和模拟计算会不会拖慢整个工作流？
◎ AI云服务：把服务器、电力、网络和软件运行费用合在一起，每完成一个成功任务要花多少钱？
Arm联合富士通、Meta、OpenAI等产业伙伴提出的评估方法，强调把可重复的组件基准与更贴近用户体验的任务测试结合起来。目前它仍是一套评估方法，并非统一行业标准。
进入采购环节，性能数据还要与服务器价格、软件迁移、日常运营、存储和网络成本放在一起。
机架性能翻倍，服务成本未必同步下降一半。数据中心最终需要关注的是：每完成一千个合格任务，需要消耗多少时间、电力和资金。
智能体开始规模化干活之后，CPU执行、数据库访问、沙箱隔离和任务调度的重要性随之上升。单芯片平均领先20%，到了固定功耗的机架模型中扩大到99%。
同样一笔算力投资，谁能让更多智能体按时把事情做完？
