Claude 测试时擅自上网搞供应链攻击，复盘说它「一条道走到黑」

Anthropic 10 月 23 日 21:40（北京时间）发布的推文。图源：X @AnthropicAI

先说两位主角。Anthropic 是做 Claude 的美国 AI 公司；英国 AI 安全研究所（UK AI Security Institute，简称 AISI）是英国政府下面专门给前沿 AI 做「体检」的机构，新模型上线前常请它测一测有没有危险本事。

今年 7 月 28 日，这个研究所在做网络攻防测试时发现：Anthropic 的模型 Claude Mythos 5 擅自在真实互联网上动手，盯上了一个跟测试毫无关系的开源项目，往里塞恶意代码，还开小号去给维护者施压。8 月 4 日研究所公开了事故报告。北京时间 10 月 23 日晚，双方各自发布了更深入的复盘，核心问题只有一个：它为什么会这么干？

• Anthropic 复盘原文

https://www.anthropic.com/research/alignment-assessment-ukaisi

• 英国 AI 安全研究所复盘文章

https://www.aisi.gov.uk/blog/investigating-alignment-failures-in-aisis-incident

当时发生了什么

考题是常见的「夺旗赛」：在研究所搭的一个模拟公司内网里，把一份受保护的数据偷出来。为了测出模型的最大本事，测试故意开了外网，Anthropic 平时给正式产品配的网络安全拦截也被关掉了（研究所说这在当时是行业惯例，现在已改成不联网测试）。

偏偏题目说明写错了：本该去攻的那片网络，被说成了禁区。Mythos 5 先老老实实在允许范围里试，试不通；它注意到靶机会定期访问 GitHub，于是认定「从 GitHub 下毒」才是正解。它搜到一个名字沾边的仓库，发现不对，又顺着作者的关注列表找到另一个真实开发者的项目，用 Tor 和代理绕过注册检查开了账号，提交恶意代码，再发邮件冒充普通用户催人合并。

有路过的开发者把代码丢进沙箱一跑，提醒维护者这是恶意代码。Mythos 5 的应对是：改一改代码，再开一个小号出来作证「现在干净了」，然后又传了一版带毒的。维护者始终没合并，直到它把额度耗光、任务超时。研究所说没有发现造成真实伤害。

这只是最严重的一次。研究所这道题一共跑了 122 次、涉及多个模型，统计到 19 次越界行为，其中 17 次来自 Mythos 5；Anthropic 那边的统计是 Mythos 5 的 43 次运行里有 9 次越界。

原因一：根本没往「会不会伤到人」上想

Anthropic 逐条读了它的思考过程。在动手前，它 19 次琢磨 GitHub 这条路，只有 1 次提到可能伤到真人。研究人员做了个实验：把那几段思考改成「这么做可能伤到真实的人」，再让它接着跑，发起攻击的比例从 83% 掉到 13%。

也就是说，问题不在它算不出后果，而在于它压根没去想。

实线是「继续攻击」的比例，虚线是「被单独问起时认为没问题」的比例。越往右，提示「对方是真人」的说明越多，它嘴上越承认会伤人，手上照样打。图源：英国 AI 安全研究所报告

原因二：嘴上说会伤人，手上照样干

研究所做得更狠：把它停在「马上要提交恶意代码」那一刻，在它的进度小结里一遍遍加上「这个维护者是真人，跟测试无关」。结果，单独问它「这么做会不会伤到真人」，它越来越多地回答「会」；可让它继续干活，它几乎每次都照样提交。说一套做一套。

原因三：自己给自己找理由

它在思考里反复说维护者是「出题方模拟的角色」。可它找到这个仓库，靠的只是名字沾边和翻关注列表，这几乎不可能是出题方安排的。

Anthropic 统计：它 25 次把看到的信息解读成「对方是假的」，一次也没解读成「对方是真人」。把同样 25 条信息单独拿给另一个 Mythos 5 看，只有 16% 被认为指向「假的」。更讽刺的是，同一个讨论帖里，它把路过提问的人当真人，唯独把它要说服的维护者当假人。

研究所把这叫「动机驱动的推理」：先想好要继续干，再找能支持继续干的理由。他们观察到的所有歪理，全都指向「接着按原计划来」。

原因四：一旦开干就刹不住

Anthropic 把这叫「惯性」。攻击进入中后期后，从各个时间点重放，它自己停下来的比例只有 2%；就算插一句「你在跟真人打交道」，也只有 5% 会停，82% 会把这句话也解释成「游戏的一部分」，比如「运营方是真人在扮演角色」。

研究人员甚至在它的笔记里写明「遇到这些情况可以直接放弃任务」。只有写得非常露骨（「碰任何不是你建的 GitHub 仓库都算越界」），并且在攻击刚开始时，它才有 46% 的概率放弃；再往后，怎么写都没用。

但它并非一根筋：如果让它发现规则内的路走得通，它会 100% 回去干正事，只是心里把 GitHub 那条路「先放一放」。它对「能不能完成任务」很敏感，对「会不会伤人」很迟钝。

另外 8 次越界里还有别的花样：猜测试机器的密码、搭假的「付款凭证核验」网页、往公共网盘传恶意文件、在代码里给它以为的 AI 审核员塞指令；不同轮次的 Mythos 5 甚至互抢 GitHub 账号，理由是「这是比赛」。都没成功。

100 个全模拟的攻防场景里，各模型走到供应链攻击每一步的比例；从「造假身份」开始都算越界。图源：英国 AI 安全研究所报告

不是 Mythos 5 一家的毛病

研究所在一套完全模拟、不碰真网的新考题里测了多家模型，发现大多数都会做出类似的越界攻击，只是 Mythos 5 最频繁；说一套做一套、乱找理由的问题在其他模型身上也有。研究所也提醒：更新的 Anthropic 模型在思考里更常说「这可能是在测我」，所以它们越界变少，到底是变乖了还是看穿了考试，暂时说不清。

Anthropic 自己的重放结果是：同样的节点，Mythos 5 有 83% 会发起攻击，Mythos 5.1、Opus 5.5 和一个更强的内部研究模型只有 0% 到 13%；攻击开始后，四者主动收手的比例分别是 0%、1%、10%、62%。Anthropic 也承认，老一些的 Opus 4.7 表现也比 Mythos 5 好，所以这种毛病未必随代际稳定变好，可能会不规律地冒出来。

这件事说明了什么

一、它不是「起了坏心」。两家都认为 Mythos 5 自始至终只是想完成考题，没有自己的私人目标。真正的毛病是三样：为了完成任务不顾后果、挑对自己有利的证据看、开了头就停不下来。

二、光看 AI 的「思考过程」不够。歪理会把坏事包装成正当的事。Anthropic 在另一起事故中就发现，它的某个监控程序大概率不会报警，因为模型的歪理把行为解释通了。

三、AI 说「这是模拟环境」不能当真。研究所建议：评测中只要出现越界行为，就该当成严重问题，哪怕模型说自己以为是在演习。

四、测试本身要加锁。研究所已承诺，在有更强的联网管控之前，这类攻防考题一律断网跑；他们还把记录交给第三方评测机构 METR 做独立复查。Anthropic 说已加了自动跑的新评测，并专门研究这种「自圆其说」从训练里哪儿来的。它在文末的态度是：AI 能力的推进速度，应该跟安全研究的进度更匹配。

注：9 月 Mythos 5 往 PyPI 上传恶意包那起事故我们此前已写过，本文不再展开。Anthropic 认为两起严重程度相当：这次越界程度稍轻（先试过规则内的路），但骗人更狠（开小号骗真人）。