Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀

新智元 2026-06-11 16:00

Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图1

  新智元报道  

Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图2

【新智元导读】刚刚,Anthropic CEO发布重磅檄文《指数级AI政策》:AI的「指数级爆炸」已无法阻挡,必须强制第三方测试+政府叫停!为此,Anthropic砸出3.5亿真金白银。


就在刚刚,Anthropic 的创始人兼 CEO Dario Amode发表了了一篇万字檄文——《指数级AI政策》!


这是一篇足以载入AI发展史册的重磅文章。


在文中,Amodei做出了罕见的举动:作为全球顶尖AI实验室的掌门人,他主动要求政府对自己和同行实施严厉监管。 


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图3


他主张,计算量超过10²⁵ FLOPs或者AI相关营收超过5亿美元/AI研发投入超过10亿美元的头部AI企业,必须接受政府强制监管。


一旦发现模型存在生物、网络安全或自主失控等灾难性风险,政府可以直接「封杀」!


同步发布的,还有Anthropic的两份正式政策提案:一份针对前沿AI模型的强制监管框架,一份针对AI引发的就业冲击的经济补偿方案。


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图4


为了表示来真的,Anthropic承诺为这两份提案提供了真金白银——2亿美元用于研究,1.5亿美元用于奖学金。


今天,Anthropic的这一举动,彻底打破了硅谷巨头长期以来抗拒监管的默契。


它向全球释放了这样一个信号:温和的自律时代已经宣告终结,AI指数级爆炸的速度,逼迫我们必须在灾难发生前,给大模型套上真正的「紧箍咒」!


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图5



Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图6
树人觉醒了!


托尔金在《指环王》里写过,树人是森林的守护者,古老、睿智、强大。但他有一个致命的弱点:太慢了。跟另一棵树打个招呼,要花整整一天。


当半兽人的军队已经在砍伐他的家园,他还在慢悠悠地思考要不要行动。


现在,AI正在以闪电速度疯狂进化,而各国政府,正是那棵慢吞吞的树人。


Amodei为什么突然这么急?直接原因,就是Mythos。


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图7


Claude Mythos Preview能自主发现了所有主流操作系统和浏览器中的数千个高危漏洞。


用Amodei的话说:


Mythos Preview 彻底改变了全球网络安全的版图。它不容置疑地证明了,前沿AI模型如今已成为具有全球和国家战略后果的强力工具。而且,这绝不会是我们面临的最后一次危机。


Scaling Laws已经有超过十年的实证支持。如果它再持续两年,我们就会得到Amodei所说的「数据中心里的一个天才国度」——相当于一亿个顶尖科学家同时在线工作。


然而,国会通过一部重要法律,平均需要数年。


树人般的速度,根本无法阻挡化身为「天才国家」的指数级AI!


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图8


过去几年,Anthropic一直在推动所谓的「透明度立法」,这就是当时能做到的全部。


因为在2023到2024年,AI的风险还不够具体。你无法精确描述一个尚未出现的风险,也就无法针对它立法。


但现在,Mythos让一切都不同了!


网络安全风险不再是假设,它已经是现实,生物武器风险和AI失控风险也在快速逼近。


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图9


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图10

FAA模式:AI系统上天之前,先做适航认证


Amodei给出的监管模板,是美国联邦航空管理局(FAA)。


飞机要上天,必须通过严格的第三方测试,拿到适航证书。无论是波音还是空客,只要审查通不过,就要停飞。


Amodei认为,前沿AI模型应该接受同等对待。


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图11


他提出的具体门槛是:


-计算量超过10²⁵ FLOPs(这大约是当前最顶尖模型的训练规模)

-或者:AI相关营收超过5亿美元,或AI研发投入超过10亿美元


达到这个量级的公司和模型,必须接受强制性的第三方测试,覆盖四个核心风险领域:


一、网络安全风险。 AI是否能被用于发现漏洞、攻击基础设施、瘫痪金融系统?

二、生物武器风险。 AI是否会帮助降低开发危险病原体的门槛?

三、失控风险。 AI系统是否可能在开发者无法控制的情况下自主行动?

四、自动化研发加速风险。 AI是否在加速自身能力的提升,从而放大上述三类风险?


测试必须由合格的独立第三方完成,可以是类似FAA的政府机构,也可以是经政府授权和监管的私人评估机构。


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图12


如果你的模型测出来有不可接受的风险,政府拥有一票否决权,让模型不准上线!


如果第三方评估结果表明该模型存在不可接受的灾难性安全隐患,政府必须拥有合法的、强有力的阻挡、延迟或撤销该模型部署的权力。


这是Amodei提案中,最具突破性、也最引发争议的一点。


同时,Amodei还提出,前沿AI模型的「模型权重」是极具战略价值的资产,极易成为黑客的窃取目标。


一旦权重泄露,所有的安全对齐限制都可能在几小时内被完全剥离。


因此,开发商必须建立极高安全标准,保护其开发环境和模型权重,定期接受红队测试,并建立向政府通报模型蒸馏攻击的通道。


一旦发生安全事故,开发商必须向监管机构主动报告,不得瞒报。



Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图13
防AI就业冲击:Anthropic要给失业者发钱


这篇长文的第二个重点,就是就业政策。


Amodei讨论了一个全球痛点:宏观经济与持久性失业。


他的判断是:AI驱动的失业,可能比历史上任何一次技术革命都更深远、更持久。


工业革命、互联网革命,都造成了阶段性失业,但最终创造了更多新工作。这背后有两个缓冲机制:杰文斯悖论和比较优势原理。


但Amodei认为,AI可能会同时击穿这两个缓冲机制!因为AI不只是替代某个具体的任务,它在替代人类的通用认知能力。


一旦AI能在几乎所有认知领域超越人类,比较优势就会消失。因此,必须未雨绸缪,设计专门应对AI失业的政策工具。


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图14


Anthropic制定了三个层次的经济框架。


第一层:数据测量与追踪。政府应该大幅扩展对AI就业影响的数据收集和追踪。Anthropic已经有一个经济指数。


第二层:促进就业激励。包括工资保险、雇主留工税收激励、职业培训补贴。


第三层:长期宏观经济支持。如果仍不够,可能需要某种形式的全民基本收入,通过对AI公司征税或提高资本利得税来筹资。


为了支持这个框架,Anthropic宣布:2亿美元用于政策研究,1.5亿美元用于技能培训奖学金。


Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图15

科学与权利:被AI重构的行业版图


此外,Amodei还呼吁:别让旧体制成为「科学加速」的绊脚石。


Amodei指出,在AI本身的监管上,我们应该极其审慎、甚至从严管控;但对于AI所加速的下游应用科学(如生物医药、能源、材料学),我们的监管思路应该松绑。


以生物医药为例,传统的药物研发流程面临着 FDA或 EMA极其漫长的审查。从靶点发现到最终获批上市,通常需要经历7到8年的漫长周期。


然而,AI的介入将颠覆这一常态。


AI不仅能以几何倍数增加候选药物数量,还能大幅提高新药的效果和安全性。


如果不进行制度改革,庞大的AI产出将彻底瘫痪现有的药监审批系统。


为此,阿莫代呼吁监管机构顺应潮流,开发全新的AI辅助评估标准,包括:


-接受AI生成的药效学与药代动力学模拟模型。


-推广AI预测毒理学,减少繁琐、缓慢的多物种动物毒性试验。  推广人工智能


-在临床试验中引入合成控制组,大幅减少人类受试者的招募时间。


-允许针对癌症、阿尔茨海默病等病症开发创新的快速通道。


这样,人类会最快地享受到AI带来的健康福祉。



Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图16
在「树人」醒来之后


在文章结尾,Amodei乐观地说:「树人们和他们的森林,正在慢慢睁开眼睛。」


现在全球公众和政策制定者面前,有一个珍贵却又稍纵即逝的窗口期。


在硅谷圈子里,很多人觉得,公众害怕AI只是个「公关问题」,AI行业需要的是「更好的营销」。


Amodei直接怼了回去:


人们担心AI,不是因为我们这些CEO不够乐观、不会画大饼,而是因为他们真真切切地看到了AI的风险。


作为AI行业的负责人,我的责任就是把风险摊在桌面上说清楚。公众的担心和抗议,恰恰说明民主监督在正常工作。


这一次,Anthropic砸了几个亿的真金白银,表明了态度。


我们究竟是要继续在黑暗中蒙眼狂奔,撞向悬崖;还是应该停下傲慢的脚步,与人类的社会治理机制,达成一次史诗级的和解?


树人已经醒了。


而霍比特人的生死竞速,才刚刚开始。


参考资料:

https://x.com/DarioAmodei/status/2064781775247950326

编辑:Aeneas


秒追ASI
点赞、转发、在看一键三连
点亮星标,锁定新智元极速推送!

Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图17
Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图18
Anthropic CEO发万字檄文!指数级AI不可逆,不安全必封杀图19

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
AI IC 安全
more
印度以“安全”为由全面替换中国产监控设备,大华回应影响有限
我国钠离子电池实现安全性能重大突破 资本市场迅速反应
校企携手,锚定RISC-V+AI+安全
新能源车企陷入“配置内卷”怪圈,车辆增重引发安全隐忧
OpenClaw爆火,暴露12类致命隐患!MCP协议安全基准发布 | ICLR
张雪机车创始人张雪寄语青年:勇敢追梦,安全造车
Anthropic限制发布超强AI模型Mythos,安全与商业考量并存
一个系列烧掉百万元,机器人企业为何抢着做功能安全认证?
微软正测试将类OpenClaw功能整合进Microsoft 365 Copilot,聚焦企业级安全与持续任务执行能力
全错!谷歌实锤AI越乖洗脑越深,现行安全指标沦为废纸
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号