搞Agentic AI，CPU和GPU怎么配才合理？

过去五年中，生成式AI风靡市场，它能根据用户的prompt创建文本和动态视频等各种内容。现在，更有望为企业带来根本性转变的是Agentic AI。Agentic AI不仅仅是响应用户的prompt，还能通过推理、规划并执行多步骤操作来实现目标，而几乎无需人工干预。

Gartner公司预测，到2028年，至少15%的日常工作决策将由Agentic AI自主做出。Gartner还指出，到2027年底，企业将取消超过40%的Agentic AI项目。为什么Agentic AI如此重要，但是企业却在将AI融入运营上举步维艰？Gartner认为，其中最大的障碍是不断升级的成本和大规模部署AI智能体的复杂性。

为确保Agentic AI的成功落地，企业需要确保GPU与CPU的配比合理。“GPU闲置税”正成为用户扩展AI时日益关注的问题，它指的是GPU未被充分利用，且仍在产生费用的隐性成本。根据来自数万个集群的数据，Cast AI发布报告显示，GPU利用率仅为5%。GPU的闲置时间通常并非企业为节省资源而有意为之，而极可能是一种架构上的不平衡。英特尔与佐治亚理工学院在一项联合研究项目中发现，在智能体工作负载中，CPU上的工具处理占总延迟的50%到90%；GPU在等待CPU完成工作后才能处理下一批词元（token）的过程中处于闲置状态，这无形中增加了运营成本。

随着AI格局的持续转变和演进，企业需要CPU和GPU协同工作，并保持合理的配比，这将推动出色性能的实现，并避免为AI基础设施支付过高的费用。

生成式AI和Agentic AI在工作流如何与周围系统互动方面存在根本差异。生成式AI通常在相对孤立的基础设施中运行。它接收输入prompt，使用预训练模型进行处理，然后返回输出，通常无需与其他系统进行深入的实时集成。其工作流在很大程度上是自包含的，依赖于静态训练数据，并且最多只从精选知识库中进行有限的检索。

相比之下，Agentic AI可以为了实现目标而自主行动，这需要跨组织基础设施的多个组件进行持续通信。这些系统必须能够编排操作、查询实时数据库、与API交互、触发工作流，并根据不同服务反馈进行动态调整。因此，Agentic AI依赖于数据、工具和决策层相互连接、紧密集成和可互操作的环境，其工作流在本质上比生成式AI相对孤立的流程更为复杂和分散。

在过去五年的人工智能热潮中，GPU一直是算力核心。然而，GPU并非为处理定义智能体系统的多种行为而设计，例如检索实时网络数据、处理用于自动驾驶的摄像头和激光雷达等连续传感器流，或为完成任务而浏览电子商务平台等复杂界面。正是在这些方面，CPU发挥了关键的补充作用，实现了GPU所缺乏的通用计算、控制流和系统级协调能力。随着Agentic AI的发展，特别是在企业运营自动化方面，由CPU驱动的进程在编排更广泛的流程、协调工具、管理内存和状态以及与外部系统交互方面，正日益占据中心位置。

从工作负载角度来看，这一转变为CPU和GPU的利用率带来了更为微妙的平衡。传统的生成式AI流程大部分时间都在GPU上运行，而CPU仅处理相对轻量级的预处理和请求管理。相比之下，智能体工作负载由于要频繁实施工具调用、决策循环和I/O密集型操作，可能会将大部分，通常是主导性的执行时间花费在CPU上，而GPU的使用则发生在模型推理期间的较短爆发期。这种不平衡在服务环境中尤为突出，CPU的并行处理虽然灵活，但在扩展性上不及GPU，这意味着重度依赖工具的智能体工作负载可能会在GPU被充分利用之前，就使CPU资源使用达到饱和。为了保持高GPU利用率并避免瓶颈，Agentic AI系统需要拥有足够核心和线程的高性能CPU，以满足任务编排需求。在现代数据中心，合理配置GPU和CPU的数量至关重要，否则，缺乏足够CPU算力的设施会使昂贵的GPU资源闲置，从而降低系统性能和投资回报。

在题为《迈向理解、分析和优化Agentic AI执行：一个以CPU为中心的视角》的论文中，英特尔的研究人员与佐治亚理工学院的合作伙伴共同描述、分析了由Agentic AI工作负载带来的系统瓶颈，并特别强调了CPU在处理过程中的核心作用。

为此，研究人员在不同的硬件系统上进行了runtime特征分析，重点关注端到端延迟、批处理吞吐量和能耗分析，以隔离系统中的硬件瓶颈。该团队识别并测试了五种被广泛部署的Agentic AI工作负载，这些工作负载包括事实问答、编码和科学任务等广泛应用，并代表了多样的模型大小、编排模式和工具集成策略。下图展示了这五种工作负载分别在CPU和GPU上所花费的平均处理时间百分比。

结果显示，以工具为主的Agentic AI工作负载受到CPU上工具处理瓶颈的严重制约，CPU任务消耗了高达平均86%的端到端延迟。这些结果表明，对于大多数用例，企业应积极实施以CPU为中心的优化策略。然而，CPU与GPU处理时间的具体百分比，从Toolformer在数学增强任务上花费17%的CPU时间，到LangChain在问答任务上花费高达86%的CPU时间，差异很大。因此，在为企业确定最高效的CPU:GPU配比时，考虑具体用例至关重要。

在英特尔白皮书《Agentic AI需要更多CPU》中，探讨了如何基于增加CPU计算能力来缓解系统瓶颈，从而保持GPU计算的饱和度来降低成本。团队构建的一项流程结果显示，CPU消耗了整个流程的大部分时间，其中“补充上下文”这一步骤所需时间是LLM推理时间的三倍。研究人员还构建了第二个基准测试，模拟开发者请求AI助手编写和测试代码的场景。该基准测试显示，代码生成（GPU）在62.8秒内完成，而在CPU上的执行消耗了64.1秒，使CPU成为流程中的限制因素。

根据该白皮书中的测试，研究人员发现，对于当前一代的部署，保持大约0.8:1到1.4:1的（CPU与GPU）配比，可确保GPU的充分利用。然而，如前所述，这在很大程度上取决于工作负载和硬件。下图显示了模型大小如何影响配置推荐的配比：

该图显示，模型越小、效率越高，维持相同性能所需的CPU数量就越多。此外，该白皮书指出，随着GPU性能提升持续超过CPU的改进，这一配比可能需要大幅提高，根据工作负载类型和复杂性，在未来场景中可能高达7:1。这项研究有力地证明，CPU在实现下一代Agentic AI系统的性能和成本效益方面处于核心地位。

CPU负责处理编排、数据迁移、推理和系统级协调，成为整个AI技术栈的中流砥柱。因此，选择合适的CPU对于在日益复杂和混合的AI环境中确保一致的性能至关重要。英特尔至强6处理器结合了内置AI加速、基础设施一致性和安全保障，为现代AI基础设施提供强健基石。

在AI工作负载变得更加动态、分布式并与企业系统紧密集成的时代，基础设施决策需要在性能、可扩展性和信任之间取得平衡。英特尔至强处理器将这些元素融为一体，并加以高效推理的内置加速、支持不断增长的部署的一致且可扩展的平台，以及对关键数据和模型的强大保护功能，来契合现代AI不断演变的需求。通过将这些能力集合在被广泛采用的统一架构内，至强让客户能够在简化运营的同时，为AI用例的扩展持续提供灵活性。