“Token最大化”的时代即将落幕

点击蓝字

关注我们

2018年，当我们仍处于人工智能的早期时代时，技术领导者和咨询公司就已开始讨论尽早采用AI所带来的竞争优势。八年后，核心论点依旧，但格局已天翻地覆：企业操作系统正奋力追赶新AI模型那令人目眩的演进速度。

如今，在主要模型发布方面，我们似乎进入了平台期。我们不再需要更智能的模型；相反，我们需要弄清楚哪个模型能以最优价格，最好地完成每一项任务。这为CIO们创造了展开一系列战略性对话的契机，有助于他们在当前这个令众多组织陷入瘫痪的不确定环境中保持领先。核心理念简单而坚定：持续投资于AI的采用。

根据麻省理工学院的一项研究，2025年部署的AI模型中，有95%未能达到预期效果。但即使失败，也胜过原地踏步。在行进中调整航向，总比从零开始要容易得多。毕竟，在成为运动员之前，你首先要学会走路。

没有投资回报的使用，不是真正的转型

过去几年最重要的教训之一是：购买AI许可并不会自动让组织变得更高效。这一幻觉已被彻底破除。紧跟时代潮流不再是可选项，而是当务之急。

成功的部署AI依赖于实践探索：通过持续的试错，测试不同的模型、流程和团队结构。技术尚未成熟到一定程度，这使得实验成本相对低廉。然而，一旦市场进入成熟期，成本格局很可能截然不同。到那时，那些已经探索过多种替代方案的组织，将更有能力转向更易获取的解决方案，而不是被锁定在单一模型供应商身上。

AI成本，一度被广泛忽视，正成为下一阶段决定性的挑战之一。海量的Token消耗不再是创新的同义词；它越来越多地意味着一张高昂的月度账单。许多组织现在正在为早期阶段的不成熟付出代价。

为何“Token最大化”偏离了方向

“Token最大化”的时代即将落幕。但下一个范式绝非为了减少Token而减少Token。Token成本和任务成本并非相互竞争的指标。在一个智能体（Agentic）的世界里，它们越来越成为同一场对话。

不同的任务需要不同水平的智能。有些可以由规模更小、效率极高的模型处理；另一些则需要更复杂的模型、更深度的推理、更长的上下文，或多个智能体协同工作。因此，一项任务的成本最终取决于你选择的模型以及成功完成任务所需的Token数量。

这就是为什么“Token最大化”在两方面都不得要领。Token是消耗，而非产出——真正的优化不在于最大化或最小化它们，而在于为正确的任务使用正确的智能。为一个复杂问题花费更多Token，如果能以更少的迭代次数产生更好的结果，那可能是最明智的投资；而为一个简单任务使用昂贵的模型，则纯粹是浪费。

核心准则是：为每项任务匹配能可靠完成它的最便宜模型，并在任务层面进行衡量，以便能够验证。如果CIO将Token增长视为AI采用的成果来汇报，那其实是在把成本当作价值来汇报。要优化真正的数字，我们必须变得非常擅长理解每个Token所产生的价值。

成本杠杆在实践中的体现

举个例子，在七个月的时间里，我们在自有基础设施上同时运行开源模型和商业API，大约30%的总Token量是以接近零的边际成本处理的。第一年内，节省下来的API调用费用就覆盖了硬件投资的很大一部分——而且在我们路由到开源模型的工作负载上，输出质量没有任何下降。最后一句是关键：这不是以质量换成本的权衡，而是为任务匹配能可靠完成它的最便宜模型。

当消耗和成本不再同步增长时，我们也看到了同样的动态。在2026年1月至7月间，我们的总Token消耗量增长了6.7倍，而支出仅增长了2.2倍。这中间的差距几乎完全归功于智能路由——将每个查询发送到正确的模型，而不是将一切默认交给最昂贵的那个。这个数据是我愿意摆在任何董事会面前的：采用速度的增长是成本增长速度的三倍，而且并非因为任何人减少了AI的使用。这就是一个AI网关的切实投资回报：不仅是成本可见性，更是成本杠杆。

CIO的三大优先事项

对于CIO而言，这种新格局带来了三个关键结论：

第一，AI举措必须以投资回报为驱动。将特定流程“智能体化”（Agentifying）能带来什么切实益处？答案可能是节省时间、降低成本、增加收入，或三者的组合。无论如何，每项AI投资都必须与可衡量的业务成果挂钩。Token数量或许能解释消耗，但无法定义价值。

第二，将流程“智能体化”并非在现有工作流之上叠加技术层。它需要自上而下地重新设计流程，以创建AI原生的运营模式。在某些情况下，这甚至可能需要将流程的 ownership 转移到组织内的不同团队。

第三，每个任务都应有其专属的智能体。没有必要为企业中的每个用例都部署最大、最昂贵的模型。经验不足曾导致一些公司做出了相当于“雇起重机来搬一把椅子”的举动。

AI工作的新经济学

这也正在改变软件开发的成本结构。传统上，成本与人力时间紧密相关：涉及多少人，工作耗费多少小时。在智能体（Agentic）模式下，计算力和智能在该等式中占据了更重要的部分，这意味着CIO需要在任务层面拥有成本监测手段，就像我们过去一直以人员和工时来衡量项目一样。

新兴范式要求CIO重新思考预算制定本身。工作的成本不能再仅由员工薪资来衡量；还必须计入执行该工作的技术成本。AI并非免费，也永远不会免费。确保每项投资都能产生可衡量的价值至关重要，这不仅是为了最大化回报，也是为了避免与CFO进行艰难的对话。

如果说工业时代在机器发明后提供了长达十年的机遇窗口，那么今天的技术周期则要短得多。在新模型爆发之后，我们似乎正进入一个相对稳定的时期。未来三年，很可能将由大规模采用来定义，而非突破性的版本发布。

能够抓住这一窗口的组织，将建立起相对于竞争对手的显著优势。将任务智能体化、重新设计流程、多样化模型选择、衡量生产力并控制成本，是新时代运营可靠性的基石。Token消耗将告诉我们成本是多少……而投资回报率将决定这笔投资是否物有所值。

原文链接：https://www.hpcwire.com/bigdatawire/2026/08/31/cost-per-token-vs-cost-per-task-what-really-determines-ai-roi/

< 长按识别二维码添加好友 >

加入上述群聊

长按并关注

带你走进万物存储、万物智能、

万物互联信息革命新时代

微信号：SSDFans