智能体时代，重估CPU

智能体时代，除了给CPU产业带来了更大的TAM（Total Addressable Market，潜在市场总量）以外，智算中心对CPU也提出不同的要求，这是一个公认的事实。

正如Arm 云 AI 解决方案架构总监 Ravi Malhotra在日前的一场分享中所说，在智能体 AI 出现之前，AI 领域主要以 token（词元）生成来衡量性能，即每秒 token 数、每瓦 token 数和每美元 token 数。但智能体 AI 改变了这一点：它要求生成的 token 能够在真实世界中得到切实应用。

“这意味着，我们不仅要从 token 的角度评估CPU性能，还要从智能体及其所执行任务的角度来评估其性能。” Ravi Malhotra补充说。

众所周知，传统的数据中心CPU主要承担通用计算和系统管理任务，包括运行操作系统、处理业务逻辑、执行数据库查询、管理虚拟机与容器，以及协调网络、存储和GPU等硬件资源。在传统AI计算中，GPU负责大规模并行计算，CPU则更多承担数据准备、任务调度和系统控制等工作。

但随着智能体的兴起，CPU变了。

Ravi Malhotra举例说，如上图所示，当前较为热门的智能体AI用例涵盖了软件工程、企业自动化、科学研究（如金融分析）、个人助理和机器人技术。在这些用例中，智能体任务可以拆分为两种：

一种认为是token生成，也就是所谓的推理与规划。这类工作通常运行在 AI 机架上，重点是大规模生成 token，并为智能体所需的上下文和数据解读提供足够的内存与存储空间；另一种任务是基于这些 token 所采取的行动，即是工具调用与编排。这些任务通常运行在纯 CPU 服务器上，相关服务器和机架仍需满足规模化部署与稳定运行的基础设施要求。

“进一步拆解上述用例，我们就会发现每一类要求都各不相同。没有两个智能体是完全一样的。”Ravi Malhotra表示。“就软件开发来说，编译和测试代码等动作耗时较长，并且会消耗大量 CPU 周期，因此单个智能体的性能就显得非常重要；相比之下，个人助理或企业运营场景中的单次操作往往持续时间较短，例如访问网页或数据库，或执行少量操作，对单个智能体的性能要求没有那么高。”Ravi Malhotra举例说。他进一步指出，不过，由于这些应用需要执行的操作数量庞大，反而对吞吐量和运行效率提出了更高的要求。

正是在这些应用需求的驱动下，大家达成了一致的观点，那就是——智能体 AI 时代，CPU 重回 C 位。Ravi Malhotra也总结说，在智能体 AI 时代，CPU 的关键任务可以分为三类：

第一类，是要把已经生成的 token 转化为行动。无论是构建代码、测试代码，还是访问 Web 服务器和数据库，都属于这一类；

第二类是 token 生成。在 token 生成环节，许多应用也会带来自己的数据。CPU 需要能够把这些数据存放在 KV Cache 和向量数据库中，并尽快传输到运行模型的加速器上，这就是向量数据库和 KV Cache 发挥作用的地方；

第三类，是编排以及在沙箱中实现隔离：把 token 生成与行动连接起来，构建完整的端到端流程，以完成用户所下达的任务。

因应上述需求的转变，给CPU提出了新的要求。这也意味着，过往衡量数据中心CPU性能的标准，也应该有所转变。换而言之，如何评估一颗CPU能够符合智能体应用的需求，对于开发者来说，至关重要。

这也正是Arm提出了一套新的评估标准的原因。

在具体介绍这个标准之前，Ravi Malhotra重申：没有两个智能体 AI 应用是完全相同的。为每个用例选择不同的 CPU 并不是一种可扩展的模式，尤其是在用例不断演进的情况下。对于大部分市场来说，需要的是一个均衡的选择：一款能够在性能、可扩展性和效率之间取得平衡的 CPU。

而在Arm看来，要找出这类CPU，就需要从两个方面入手，首先是从组件角度出发的基准测试。

Ravi Malhotra指出，这之所以重要，是因为测试 Web 服务器、数据库或模型服务的开销，可以让我们精确了解单个组件的表现。但他也同时承认，这无法反映这些组件在智能体工作流中是如何连接并协同运行的。这时候，就需要我们前面提到的智能体基准测试发挥作用，为评估端到端的智能体工作流提供具有代表性的参照。

“这些组件基准和智能体基准还对 CPU 进行了不同面向的测试评估。例如，工具调用类组件侧重于 IPC（每周期指令数）、I/O（输入/输出）和并发；从编排的角度来说，更强调 CPU 并发和利用率；而在推理与规划中，CPU 充当头节点，因此重点测试 CPU 是否具备提升单线程性能的能力，包括分支预测、缓存、内存延迟和内存带宽。”Ravi Malhotra表示。

其次就是端到端智能体的基准测试。

按照Ravi Malhotra所说，在这部分，更关注的可扩展性和并发性，因为二者相辅相成。“性能评估不能只看单颗 CPU 能够承载多少智能体，也不能单纯追求最高吞吐量，还需要在吞吐量与 SLA（服务等级协议）要求之间取得平衡，这就是 Arm 强调的持续性能。”Ravi Malhotra强调。

“对于 Terminal-Bench 和 SWE-bench 所代表的软件开发工作负载，每个核心运行一到两个智能体可能已经足够；如果进一步增加并发智能体数量，则可能无法满足 SLA 要求。企业运营或个人助理类的工作负载可以支持更多并发智能体。关键仍在于如何平衡吞吐量与 SLA，这要求兼顾单核性能和整颗 CPU 的扩展能力。”Ravi Malhotra接着说。他同时指出，除了关注 CPU 层面的性能，我们还需要关注机架层面所交付的性能，因为并非所有 CPU 都是一样的。

基于这些观察，Ravi Malhotra坚信，市场需要一款能够兼顾核心层面的性能、服务器层面的可扩展性和机架层面效率的CPU，而这正是 Arm AGI CPU 所强调的价值，更注重在性能、规模和效率之间取得平衡。

Ravi Malhotra表示，之所以认为AGI CPU能够满足智能体时代的多样化 CPU 需求，一方面固然因为Arm CPU核心所固有的低功耗特性。尤其是自2018年推出Arm Neoverse 系列以来，Arm通过与超大规模云服务提供商展开紧密合作，深入了解了云端通常运行哪些工作负载，并获得了很好的反馈。

“在与这些超大规模云服务提供商的紧密合作过程中，Arm还专注于微架构的改进。从 Neoverse N1 一直到 Neoverse V3，持续为Neoverse 核心带来了显著的性能提升。”Ravi Malhotra接着说。其中， Neoverse V3 采用的正是 Arm AGI CPU 的核心，为Arm这颗芯片带来了可靠的性能保障。

更重要的是，和以往一样，Arm在提升性能的同时，并不以增加功耗为代价。正是这种针对云工作负载，以及数据中心里其他大规模运行的工作负载，对微架构进行调优和优化的专注，使得Neoverse 核心和 Arm AGI CPU 更加高效，赋能智能体AI时代的需求。

根据Arm与独立技术分析机构Signal65合作开展的评估，以及 Signal65 发布的独立分析，在相同机架功耗预算下，Arm AGI CPU在所评估的智能体AI工作负载中的机架级性能约为AMD第五代EPYC（霄龙）9755处理器的1.99倍。

分项来看，其工具调用类工作负载的机架级性能达到对比平台的1.7倍，向量数据库、缓存等推理与规划类工作负载达到2.2倍，端到端智能体基准性能约为2倍。报告还显示，Arm AGI CPU在平均每核性能和CPU SoC层面的性能上均领先约20%。

除了计算性能，Arm AGI CPU在Docker、Firecracker和gVisor等沙箱环境中的创建开销也更低，有助于降低智能体执行任务时的额外成本。其能效优势则意味着，在相同机架功耗预算下可以部署更多CPU核心，进一步放大机架级性能。

整体而言，Arm AGI CPU的竞争力不仅体现在单核或单颗处理器的性能上，更在于通过较低的核心功耗、更高的核心部署密度和较低的沙箱开销，提升数据中心运行智能体工作负载的整体效率。需要注意的是，上述领先数据来自特定测试平台和所选工作负载，不能直接视为所有智能体应用中的普遍性能优势。

据Ravi Malhotra介绍，基于这些领先实力，Arm AGI CPU正通过多样化的服务器参考设计、合作伙伴商用服务器及整机架解决方案推进市场落地。Arm已推出1OU双节点和2U2P两款服务器参考设计，并与超微电脑、联想、华擎科技等合作伙伴提供不同规格的量产平台，覆盖AI服务器等应用场景；在机架层面，则提供风冷、液冷方案，以及适配19英寸和Open Rack双宽规格的产品，以满足不同数据中心的部署需求。

在分享最后，Ravi Malhotra强调，智能体AI时代的CPU评估不应局限于单一基准或token生成速度，而应同时考察两方面：一是与实际应用相关的底层组件性能，二是能够反映真实任务执行过程的端到端智能体基准。评估的重点不仅在于各个组件的独立表现，更在于它们如何协同运行、高效完成完整的智能体工作流。由于不同客户的应用场景存在差异，Arm建议客户和开发者结合自身用例，综合分析各项测试结果，而不是依赖单一分数或统一权重。

Ravi Malhotra也重申，Arm与独立技术分析机构Signal65合作开展的评估，是这套评估方法论的一次实践应用，而非正式行业标准或单一基准测试组合。

“智能体基准仍在快速演进，测试场景和任务覆盖范围也在不断完善，未来需要持续更新评估方法，并结合不同应用场景和基础设施需求进行分析。Arm将继续跟踪相关基准的发展，并向行业分享更多关于智能体工作负载及CPU性能评估的研究成果。”Ravi Malhotra表示。

当然，能通过上述考验的AGI CPU，更是Arm这项工作的重中之重。

点这里👆加关注，锁定更多原创内容

*免责声明：文章内容系作者个人观点，半导体芯闻转载仅为了传达一种不同的观点，不代表半导体芯闻对该观点赞同或支持，如果有任何异议，欢迎联系我们。