他离职引上亿次围观，IPO前夕A社天价股权不要了，理由如下

程浅 发自 凹非寺
量子位 | 公众号 QbitAI

“我已经没有任何理由再去推高Anthropic的估值。”

说这话的，是因从Anthropic离职引发上亿次关注的AI研究员Jacob Coxon。

过去3年，他先是在OpenAI参与模型预训练，随后加入Anthropic做同样的工作。

然而仅在Anthropic待了4个月后，他就离职了。

尽管……按照公司的归属安排，工作满6个月才能真正拿到第一批股权。

也就是说，再等2个月，他大概率就能赶上Anthropic上市前的这轮财富快车。

△Jacob Coxon

但就是这两个月，Coxon也等不了了——这也回应了此前的一种质疑：

AI公司员工不断强调模型有多危险，会不会也是在营销模型能力，抬升公司估值？

这次可能还真不是。

切割了现实利益，Coxon的中场吹哨，或许真的值得大家停下来沉思片刻。

A社已经是很重视安全的公司了，但也无解

9月8日，Anthropic预训练研究员Jacob Coxon在X上发布了七段声明，宣布辞职。

他认为OpenAI和Anthropic都没有负责任地行事，而是正冲向自我进化的超级智能，拿所有人的性命做赌注。

这条推文在24小时内就获得了超过7600万次浏览，目前已超过1.6亿次。

他表示这不是他个人的看法，因为许多参与开发前沿AI，曾见识过其巅峰性能的人非常相信，这项技术可能会在本世纪末前导致人类灭绝。

随后，多名仍在Anthropic任职的安全研究人员公开转发并回应了他的观点。

其中，Anthropic对齐科学负责人Evan Hubinger表示，Coxon对行业内部态度的描述是正确的。

他本人甚至比Jacob Coxon更激进：“未来十年内AI导致人类灭绝的概率超过10%”。

Hubinger同时承认，Anthropic虽然正在尽力降低风险，但目前尚未形成解决超级智能对齐问题的具体方案。

这里所说的“对齐”，指的是让AI系统的目标和行为持续符合人类意图，尤其是在系统能力超过人类之后，仍能受到可靠约束。

对于这一判断，黄仁勋也公开反对，称是“彻底的胡说”。

不过，在Anthropic内部，支持Coxon核心判断的还不止Hubinger。

Anthropic可扩展监督负责人Samuel Marks也表示：职位越高的员工对风险越担忧。

另一名Anthropic安全研究员也表示，Coxon对实验室内部状态的描述大致是争取的。

尽管如此，Coxon并未将Anthropic描述为一家忽视安全的公司。

相反，他在接受WIRED采访时表示，Anthropic仍然是目前“远远最负责的参与者”。在认真对待文明级AI风险方面，与OpenAI之间存在“天壤之别”。

（OpenAI在安全这一块儿也是成为公认的拉踩对象了……）

按照Coxon的说法，OpenAI内部的许多人尚未充分认识到超级智能可能带来的文明级影响，而Anthropic的员工则能更深刻地理解这些风险，也因此将率先开发出安全的超级智能视为一项必须完成的任务。

也就是说，如果超级智能最终不可避免，那么最重视安全的实验室应当尽可能率先实现它。

Anthropic不相信其他公司能够负责任地完成这一转变，所以自己必须在竞争中保持领先。

正如Coxon强调的，尽管他还没有看到Anthropic为了赢而牺牲掉安全，但当研发速度需要继续提高时，（*这种状态还能不能撑下去就不好说了。

这个逻辑可能会形成一个悖论。

为了更安全，要更快的速度，而更快，可能会更不安全。

因为如果始终面临率先取得突破的压力，就需要缩短训练、评估和发布之间的周期。研究人员用于理解模型内部机制、检查危险行为和处理异常结果的时间必然会减少。

△图片系AI生成

Coxon称，Anthropic内部已经出现了“战时状态”的紧迫感。

一些员工会使用“endgame”（终局）和“crunch time”（关键时刻）等词讨论当前阶段——

认为未来1-2年可能将决定人类以何种方式进入超级智能时代。

Coxon直接将这种研发状态比作“小型曼哈顿计划”。

然而，不同于曼哈顿计划的是，这项最终可能影响全人类的计划目前还在私企的内部会议上推进。

立即刹车，有可能吗？

那么，连Anthropic这样重视安全的公司也有安全风险，该怎么办呢？

Coxon认为，问题可能已不在于选择并相信一家更安全的实验室那么简单了。

因为，“在竞赛环境中，Anthropic甚至都无法完全信任自己”。

这里涉及一种典型的竞赛困境：

尽管，参与者可能都希望整体减速，以获得更多时间研究安全问题。

但，任何一方率先减速，都可能失去技术和市场上的主动权。

因此，每家公司都会把其他参与者仍在加速，作为自己不能停下来的理由。

这样一来，即使所有参与者都意识到风险，最终结果仍可能是整体继续提速。

△图片系AI生成

有黑暗森林猜疑链的感觉了……

所以，Coxon的离职帖一发，有很多要求政府介入的声音。

不过，全面禁止超级智能的开发，在目前看来可能不太现实……

因此Coxon认为比较现实的第一步是：

由OpenAI和Anthropic这两家目前最有可能率先进入递归自我改进阶段的前沿实验室达成协议，承诺近期不直接进入递归自我改进。

递归自我改进，是指利用AI系统参与下一代AI的研发，再由能力更强的新系统进一步加速模型研究，由此形成持续强化的反馈循环。

在更长期看来，Coxon认为，必须要由国际主要AI力量共同建立发展节奏方面的协调机制。

不仅关注实验室，还要延伸到芯片、数据中心和大规模训练集群的监督上。

——首先需要知道全球高端算力分布在哪、由谁控制以及被用于哪些类型的训练。

从而建立一个类似欧洲核子研究中心CERN的国际机构。

毕竟，前沿AI系统所需的高性能计算资源可能是一种危险性相当的资源：

我们需要知道谁拥有怎样的计算机，就像我们需要知道谁掌握哪些核材料一样。

One More Thing

Coxon 表示，不少Anthropic同事看到自己离职的帖子获得巨大关注，反而感到高兴。

因为这些同事对外界能否及时意识到风险相当悲观。

他们很担心*“没人会来把他们从这场竞赛中救出去” 。

…….毛骨悚然。

就像Coxon随性地选择了在股权归属前离开Anthropic。

但Anthropic无法像一名员工那样，拍拍屁股就站起身走出战场。

而对于仍“困在”其中的人来说，他们已经不再希冀一个更安全的实验室了。

他们只能等待…….

等待一套让所有人同时停下的神谕在某天降临。