新智元报道
新智元报道
花430倍的钱，只多11%的分数！
太夸张了。数据协作平台Deepnote今天发布了一项评测结果——
创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西，把12个前沿模型丢进同一家公司的Slack群里当AI同事，让它们自己决定什么时候该帮忙、什么时候该闭嘴。
跑完一看——OpenAI包揽前二！
GPT-6 Astra拿了8.97分，第一。GPT-6.1 Sol拿了8.65分，第二，单个任务只花0.11美元。
排第三的Anthropic Fable 5.2，8.17分，单个任务1.87美元。
贵了17倍，分还低了。
折算成一个70人公司每月的Slack监控账单：Sol是281美元，Fable 5.2是4684美元。
同样的活儿，Fable 5.2贵16倍。
而整张表上最离谱的一组对比是：Fable 5.1每单3.02美元，GPT-6 Luna每单0.007美元，价格差了430倍，得分只差1.1分。
它不测模型有多聪明，它测模型当同事靠不靠谱。
Deepnote造了一家叫PageMantle的虚构公司。
但这个「虚构」做得极其真实——6年的运营历史，71个员工，100家企业客户，从CRM、发票、工单、产品分析到数据仓库，11套业务系统全部齐活。
连SVB倒闭、竞品发新功能这些现实世界事件都融进了公司时间线里，员工会在Slack里讨论应对策略，然后在Linear上开issue跟进。
AI的角色是：潜伏在Slack里旁听所有对话，自己判断要不要出手。
出手的方式有三种：回复频道、回复线程、私信当事人。当然还有第四种——什么都不做。
而这第四种，恰恰是最难的部分。
50个真实职场任务，涵盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全等8种场景。
12个模型各跑一遍，每次3分钟上限，两个盲评模型独立打0到10分，600次完整运行，数据集和代码全部开源。
数据摊开：
第一，Sol 6.1是这场考试的最大赢家。它和Astra的得分差距只有0.32分，95%置信区间还有重叠——统计上可能根本分不出谁高谁低。但价格是Astra的六分之一。96%的性能，六分之一的价格。
第二，Anthropic全线偏贵。前12名里Anthropic占了5个席位（Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5），但按性价比排，没有一个进前三。Fable 5.2排第三看着不错，但单任务花费是Sol的17倍、月账单是Sol的16.7倍。唯一的安慰是速度：Sonnet 5.5只要15秒、Opus 5.5只要29秒，是全场最快的两个模型。
第三，Gemini和Grok彻底翻车。这俩每个任务平均调35次工具，是Sol的两倍。但调得多不等于干得好——Gemini在50个任务里有27个超时没交卷，Grok有18个。考试时间到了答题卡还是空的，分数自然垫底。
这个评测最狠的设计，是里面埋了10个「不该帮忙」的场景——事情已经解决了，或者根本不关AI的事。
结果很有意思：帮忙这件事，所有模型都挺积极的，需要出手的40个任务里9成都能搞定。
但该闭嘴的时候？表现最好的也只忍住了8次，大部分只忍住了6次。
GPT-6 Luna、DeepSeek V4.1 Flash、Mistral Large 4，10次该沉默的场景里开口了6次。两个Fable也开口了4次。
关键是，这些「不该说的话」质量还挺高——它们会认认真真翻系统、查数据、写分析，然后一本正经地回了一条不需要回的消息。
就像公司里那个逢会必发言的同事，不是能力问题，是没搞清楚这事儿到底需不需要他。
而这种「热心过头」是要花钱的。 Deepnote发现，同一个模型插错嘴时，平均比闭嘴多花1.8倍的时间和金钱。 模型不是随口瞎说，它是认认真真调了一圈工具之后才瞎说的。
这也解释了两种模型风格的分野——Deepnote把它们分成了「狙击手」和「深度思考者」：
狙击手代表：Opus 5.5。平均10次工具调用，29秒交卷，7.84分。快准狠，不废话。而且在该沉默的10个场景里忍住了8次，和Astra、Sol并列最佳。
深度思考者代表：Sol 6.1。平均18次工具调用，54秒交卷，8.65分。多花了80%的时间，多调了80%的工具，但分数高了10%，价格只有Opus的十分之一。
而Gemini和Grok属于第三种——迷路型。
35次工具调用，但一半任务都没来得及给出答案。翻书翻到考试结束，卷子还是白的。
第一，选AI同事的标准变了。
传统benchmark比的是「谁最聪明」。但当AI的角色从「你问我答」变成「24小时在线的主动型同事」，评判标准就变成了：
该帮忙时帮得上、不该帮忙时闭得住、花的钱经得住算账。 这是判断力，不是智力。
OpenAI的两个模型在这个三角上目前做得最好。Sol尤其突出——它几乎复制了Astra的判断力（帮忙39/40、沉默8/10），但价格打了一折。
第二，Always-on Agent的账单逻辑完全不同。
以前调一次API花一次钱，用完即走。
但24小时在线的AI同事是按流量持续计费的。Sol一个月281美元，Fable 5.2一个月4684美元，Fable 5.1一个月7540美元。
这还只是一家70人公司的Slack。
如果你的公司有500人，如果Agent还要同时盯邮件、日历、工单……省出来的不是零花钱，是实实在在的人力预算。
第三，速度和质量的取舍出现了新路径。
Anthropic最快（Sonnet 15秒），OpenAI最准（Astra 8.97分），Sol最划算（0.11美元）。
对做产品的团队来说，答案可能不是「选一个」，而是「按场景路由」——实时对话用Anthropic的快模型抢时间，后台分析用Sol省钱拿分。
Deepnote也在报告里建议了这种分层策略。
AI同事最重要的能力不是有多聪明，而是有多靠谱：该说话时说得准，该闭嘴时忍得住，账单还别太离谱。
按这个标准，OpenAI的Sol 6.1用0.11美元一单、8.65分的成绩，目前是性价比天花板。
而那些贵了17倍、430倍却没贵出多少分数的模型，是时候好好想想了：在AI同事的世界里，最贵的那位，未必是老板最想留下的那位。
参考资料：
https://x.com/jakubjurovych/status/2121256499552915586
https://deepnote.com/research/benchmark
编辑：所罗门
