Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动

新智元 2026-06-05 16:00

Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图1

  新智元报道  

Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图2
【新智元导读】AI不是突然开挂,而是刚过合格线!OpenAI大佬揭秘模型训练内幕。


AI圈平地一声雷!


Anthropic向全人类发出警告:停止研究AI!


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图3

Anthropic内部数据显示,AI正在加速AI的发展,通往递归自我改进的路径或已浮现。


换句话说,AI正在接近「自己造自己」的临界点。


这一进程比Anthropic预想的更快,所以Anthropic呼吁减缓或暂停AI研究。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图4

而与此同时,OpenAI 后训练团队负责人 Yann Dubois 在最新访谈中,给出了一个更微观但同样令人深思的视角:


AI进化不是突然开挂,而是刚过合格线!


在最新访谈中,他揭秘了多项内部视角:


AI能力的增长是线性的、连续的,但用户体验到的「有用性」却是离散的、跳跃的。


因为在达到某个「可靠性阈值」之前,AI只是一个会变戏法的玩具;一旦跨过那个点,它就成了能托付工作的员工,会自我加速。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图5


这个阈值,OpenAI在去年12月左右才跨过了这道坎。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图6


此外,Yann Dubois提出了反直觉的论断:AI构建更像「手艺(Craft)」而非「科学」。


这个洞察极具张力:在这个最强调硬核算力的领域,最终胜出的竟然是类似炼金术的「flare(直觉/灵感)」。


他还提出「最后一公里的AI红利」。

如果现在冻结所有模型,只靠做垂直应用(Harness),我们其实已经能实现AGI了。


瓶颈不在模型大脑,而在「权限、连接和数据」。这直接给正在观望的开发者泼了一盆冷水,同时也指明了金矿所在。



Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图7
可靠性阈值已过,AI自我加速


过去几周,AI圈热闹不断:GPT5.5发布、Claude Mythos也出来了。


尤其是在网络安全、AI智能体写代码这块,给人的感觉真是日新月异,AI的进展让人感觉像突然「跳了一大格」。


Dubois的说法很不客气:能力提升其实一直挺连续,大家之所以觉得像坐了火箭,是因为中间隔着一道「可靠性门槛」。


门槛没跨过去之前,AI像个聪明但爱闯祸的实习生:能写、能算、能出主意,但你不敢把活彻底交给它。


门槛跨过去之后,你才敢让它「真上岗」。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图8


他判断OpenAI大概是在「去年12月」跨过了这条线,于是才出现了外界感受到的「阶梯式跃迁」。


更刺激的是第二层原因:当模型足够好,它会反过来加速研发本身。


这就是Anthropic最担心的事。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图9


Dubois提到,尤其在编程场景里,研究人员自己天天写代码,模型一变强,等于全员多了个不睡觉的搭档——既能帮研究者把工具链搭起来,也能在训练下一代模型时「以AI养AI」。


加速回路一旦转起来,就会越转越快,最近几个月「越来越猛」并不奇怪。


这也发生在Anthropic内部,到2026年第二季度,人均每个季度贡献的代码,已经是2024年第一季度的8倍。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图10


第三个推动力,来自强化学习(RL)的「转型升级」。


早期像o1这类推理模型,主要在「可验证奖励」的任务上猛刷分——数学题、编程竞赛,因为对错清清楚楚,奖励好定义。


但过去一年,他们把在竞赛里练出来的那套工具,往更真实、更模糊的工作场景迁移:不再只优化「有标准答案的题」,而是优化「用户觉得真有用的东西」。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图11


一句话:从刷题选手,开始往职场打工人进化。



Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图12
AI工程师不是科学家,AI是「养」出来的


可一旦走进真实世界,麻烦就来了:可靠性怎么提?


Dubois给了个非常直白的「概率模型」:


既然现在很多都是AI智能体(agentic)系统,你可以粗暴地想成「每两分钟就有一定概率犯错」;运行时间越长,最终答案翻车的概率就越高。


所以所谓「提升可靠性」,本质就是不断把这个「每两分钟出错率」压下去。


这是AI智能体固有的硬骨头。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图13


这也解释了为什么Dubois说,AI的构建更像「手艺活」,不像课本里的「科学实验」。


现实流程往往是:先靠经验、直觉、反复试错把东西做出来,甚至带点「炼金术」味道;等它真能跑、真能用,再回头补更科学的解释与方法论。


他还提到一个颇具反转的小插曲——


当年ChatGPT公开说用了RL,他第一反应是「太复杂了吧,用监督微调(SFT)就够了」,这也正是他在Stanford做Alpaca时想验证的思路。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图14


但后来事实显示,一旦模型规模跨过某个水平,RL真的会「突然开始好用」,只是代价不低——采样很多答案、判断哪些对、哪些错,算力和系统工程都很烧钱。



Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图15
垂直领域Harness已达AGI


说到「把AI拉进现实」,绕不开最近创业圈最爱挂在嘴边的词:Harness(编排系统)。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图16


有人把它当成AI智能体的「外挂骨架」,也有人怀疑它迟早被模型「吃掉」。


Dubois的态度很现实:


短期内,垂直场景的Harness很值,能把可靠性从80%推到85%。


但前提是你得接受:模型在持续变强,Harness也得反复重调。


想做一个长期稳定、放之四海而皆准的「通用Harness」,他认为基本走不通。


甚至他还抛出一句很「挑衅」的判断:如果今天把现有模型「冻住」,只认真打磨Harness并围绕它训练,很多领域的人可能会「明显感到通用人工智能(AGI)的味道」。



Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图17
最后一公里


但真正让Dubois既兴奋又皱眉的,是「持续学习(continual learning)」这道老大难。


三年前ChatGPT刚火时,他和朋友甚至认真讨论过要不要创业做个性化记忆与持续学习。


当时他们觉得「6个月内OpenAI就会搞定」,于是没做;三年后他人都进OpenAI了,却发现这事仍没真正解决。


现在模型的尴尬在于:第一天空降到公司,可能比多数新员工还顶用(起点高);但之后基本「保持原样」,因为它不会在特定环境里越干越懂你、越干越高效。


人类学习曲线是往上爬的,AI这条线却容易变平。


把AI的曲线从「平的」掰成「持续上升」的,Dubois认为会是接下来最重要的问题之一。


所以,创业公司还有没有空间做垂直应用?


Dubois给的答案很干脆:不但有,而且很大。


因为真正的瓶颈往往不是「模型够不够聪明」,而是最后一公里——权限怎么给、数据怎么接、连接器怎么打通、怎么嵌进具体业务流程。


Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图18


大模型在天上飞得再高,不落地也只能当烟花;而把它拽到地面、让它拿到该拿的钥匙、打开该开的门,反而是最有含金量的苦活累活。


参考资料:

https://x.com/Potatoloogs/status/2062494654885749126

https://www.youtube.com/watch?v=DhD1zZ8w8Mw&t=3s


编辑:大卫


秒追ASI
点赞、转发、在看一键三连
点亮星标,锁定新智元极速推送!

Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图19
Anthropic全球警告!OpenAI已跨「可靠性阈值」:AI自我加速启动图20

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
AI IC
more
下一个Anthropic不写代码,它在搬箱子!
AI开始自我进化!Anthropic紧急呼吁,全球暂停AI研究
突发!Anthropic呼吁全员停止AI研究
10 fJ/bit能效、Tb级带宽:Micro LED光互连最新成果即将亮相
马斯克“打脸”自家招股书?SpaceX与Anthropic算力大单期限罗生门
DC BTI:SiC MOSFET 长期稳定的 “隐形考验”,英飞凌这样破解
近2亿资本加持,秋水半导体Micro-LED量产,8英寸混合键合产线年内通线
AI自进化过快,Anthropic呼吁全球中止研发
对话它石智航丁文超:具身智能,如何迈进「2.0时代」?丨ICRA 2026
Anthropic 秘密申请 IPO,一边抢跑一边防着OpenAI
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号