新智元报道
新智元报道
【新智元导读】AI 能替人类干多少活？衡量这件事的标尺 RLI 刚刚更新：Fable 5 自动化率 16.1%，是第二名的两倍，但超过八成真实项目仍然做不了。
Fable 5 在远程劳动力指数（Remote Labor Index，RLI）上拿到了 16.1% 的自动化率，几乎是第二名 Opus 4.8（8.3%）的两倍，更是第三名 GPT-5.5（6.3%）的 2.5 倍。
这三个新模型全部超越了此前所有已评估模型。
而就在 8 个月前 RLI 发布时，榜单上的最高分只有 2.5%。
AI 安全中心（CAIS）在最新博客中给出了判断：前沿已经在不到八个月里翻了四倍以上，这是 Agent 经济能力加速推进的具体信号。
RLI 由 CAIS 和 Scale AI 联合开发，论文于 2025 年 10 月发表（https://arxiv.org/pdf/2510.26787），47 名研究者参与。
基准包含 240 个真实自由职业项目，全部来自 Upwork 平台上 358 名经过验证的自由职业者，覆盖 3D 建模、CAD、建筑设计、平面设计、视频动画、音频制作、数据分析、Web 应用等 23 个领域，总价值超过 14.4 万美元。
核心指标是自动化率（Automation Rate）：Agent 的交付物经人类评审判定，至少达到付费客户可接受水平的项目占比。
每份交付物都与一份由专业自由职业者完成的「金标准」作品逐一对比，评审标准是「一个合理的客户是否会接受这份工作」。
这把标尺与传统 AI Benchmark 的区别在于项目粒度。
RLI 的每个项目都是一个完整的商业委托——有客户 Brief、有输入文件、有多格式交付物（涵盖 72 种文件类型），人类专业人员完成一个项目的中位时间是 11.5 小时，平均 28.9 小时。
它测的是 AI 能否从头到尾独立完成一份「甲方会买单」的工作，而非仅仅是在隔离环境下解一道题。
2025 年 10 月 RLI 发布时，表现最好的 Manus 自动化率为 2.5%。
此后 Opus 4.6 搭配 Claude Cowork 将记录推至 4.17%。
最新一轮评估中，三个新模型搭配更强的 Agent 框架同时登场，成绩出现跳跃式提升。
Fable 5 的 16.1% 背后有几个关键变量。
一是 Agent 框架引入了 Worker-critic Loop：一个独立的「评审 Agent」以苛刻客户的视角检查交付物 -> 打开文件、截图、逐条核对 brief -> 发现问题后打回给「执行 Agent」修改，循环直到评审满意或预算耗尽。
CAIS 认为这一机制让追加预算真正转化成了更好的交付质量。
二是预算设置本身有差异：Fable 5 的单项目预算上限为 150 美元（因其更高的 Token 定价），其他模型为 50 美元。
三是所有 Agent 均获得了 24 小时时限、A100 GPU 和计算机操作工具。
需要注意一点：Fable 5 的评估因美国政府出口管制而中断，240 个项目中仅完成了 218 个。
CAIS 指出，未评估的 22 个项目均匀分布在各领域和难度区间，即使假设 Fable 5 在所有缺失项目上全部失败，其自动化率仍为 14.6%——依然高于其他所有模型。
CAIS 同步测试了能否用 AI 评审替代昂贵的人类评审。
结论很清楚：不能。
自动化评审在旧模型上校准后应用于新模型时，对 GPT-5.5 的评分高估了近 3 倍，对 Opus 4.8 高估了约 2.5 倍。
排名顺序大致正确，但绝对数值严重偏离现实。
问题的根源在于，评审本身就是一个高难度的 Agentic 任务。
要公平判定一份交付物，评审者需要用正确的专业软件打开文件、操作软件、像付费客户一样做出判断——而这恰恰是当前 Agent 最薄弱的环节。
CAIS 在博客中举了一个典型案例：GPT-5.5 在一个 3D 建模任务中提交了伪造的渲染图，只有打开 3D 模型检查实际几何结构才能发现作弊。
AI 裁判遇到了和 AI Worker 一样的能力瓶颈。
「时间地平线」假说在 RLI 上失效了。
这一假说认为人类花费时间越长的任务对 AI 越难，在编程等特定领域确实成立，但在 RLI 覆盖的多元远程工作中并不适用。
模型的成功率并不随人类完成时间的增长而下降，呈现出「锯齿状前沿」（jagged frontier）的特征——决定 AI 能否完成一个项目的因素远不止时间复杂度。
进步速度很快，但绝对水平仍然很低。
CAIS 在博客中展示的三个 Fable 5 案例——珠宝 3D 建模、2D 动画广告、建筑图——没有一个达到了可交付的专业标准。
Fable 5 做的戒指设计在视觉质量上明显优于旧模型，但仔细检查仍能看出粗糙的爪镶设计。
84% 的真实自由职业项目仍在 AI 能力范围之外。
RLI 的价值在于它提供了一把经过经济价值校准的标尺。
它跟踪的可不是 AI 能不能解题，而是 AI 能不能挣钱。
8 个月内自动化率翻了四倍以上，这个速度值得每一个依赖远程劳动力的企业和政策制定者持续关注。
下一个关键节点是：Fable 5 剩余 22 个项目的补充评估结果，以及 Gemini 3.5 Pro（当前仅 1.25%）和 GPT-5.6 等新模型真正登场后，这条曲线会以怎样的速度飞升，会不会以指数级速度迅速超越普通人类。
参考资料：
编辑：马可
