一场个人悲剧，为这位人工智能领域最直言不讳的领袖指明了方向。
ALEX KANTROWITZ
2025年7月30日
当我问达里奥·阿莫迪最近的斗志从何而来时，他回答得十分干脆。
作为 Anthropic 的首席执行官，他在 2025 年几乎全年都处于战争状态。
他与业界同行、政府官员乃至公众对人工智能的普遍看法展开激烈交锋。
近几个月，他预测人工智能可能很快会淘汰一半的入门级白领工作。
他在《纽约时报》上猛烈抨击一项为期十年的人工智能监管暂停期，还呼吁对中国实施半导体出口管制，引来英伟达 CEO 黄仁勋的公开驳斥。
在一片喧嚣中，阿莫迪在他公司位于旧金山市中心的总部一楼与我见面。他显得轻松、精力充沛，并急于开始对话，仿佛一直在等待这个解释自己行为的时刻。
他身穿一件蓝色青果领毛衣，内搭休闲白 T 恤，戴着一副方框粗边眼镜，坐下后，目光直视前方。
阿莫迪说，他所有努力的背后，都源于一个坚定的信念：人工智能的发展速度远超我们多数人的想象，它的机遇和后果也比表面看来要近得多。
对于 AI 能力将飞速提升这一点，我确实是最乐观的人之一，他告诉我，随着我们越来越接近更强大的 AI 系统，我希望能更强有力、更公开地把这些事情说出来，把观点阐述得更清晰。
阿莫迪的直言不讳和尖锐风格，为他在硅谷赢得了尊重，也招来了嘲笑。
在一些人眼中，他是一位技术远见者，曾开创了 OpenAI 的 GPT-3 项目（ChatGPT 的雏形），也是一位注重安全、后来出走并创立 Anthropic 的领导者。
而在另一些人看来，他则是一个控制欲强的「末日论者」，一心想减缓人工智能的发展，按自己的意愿塑造它，并把竞争对手拒之门外。
但无论爱他还是恨他，整个人工智能领域都必须面对他。阿莫迪已将 Anthropic——目前估值 610 亿美元——打造成一股强大的经济力量。
从 2021 年的零起点开始，这家公司（尽管仍未盈利）的年化收入从 2025 年 3 月的 14 亿美元，增长到 5 月的 30 亿美元，再到 7 月的近 45 亿美元。
这让阿莫迪称其为：在其所处规模上，历史上增长最快的软件公司。
或许比收入更值得关注的，是 Anthropic 获得收入的方式。他最大的赌注并非依赖 ChatGPT 这样的应用，而是底层技术本身。
阿莫迪告诉我，公司大部分收入来自其应用程序编程接口（API），它是其他公司购买 Anthropic 的 AI 模型并嵌入自身产品。
因此，Anthropic 将成为 AI 进展的晴雨表，其兴衰成败完全取决于技术本身的实力。
随着 Anthropic 的壮大，阿莫迪希望其影响力能帮助他引导行业的发展方向。考虑到他敢于直言、敢于出击、也敢于承受回击的性格，他很可能得偿所愿。
所以，如果这个人将要引领可能是世界上最具影响力的新技术，那么理解是什么在驱动他、他的企业，以及为什么他的时间表比别人都紧迫，就显得至关重要。
在与他本人、朋友、同事和对手进行了二十多次访谈后，我相信我找到了答案。
一种曾无法治愈的疾病
达里奥·阿莫迪从小就是个科学小子。他 1983 年生于旧金山，母亲是犹太人，父亲是意大利人，他几乎只对数学和物理感兴趣。
高中时，身边的互联网泡沫席卷而来，他却几乎没在意。“写个网站对我毫无吸引力，”他告诉我，“我的兴趣在于发现基本的科学真理。”
在家里，阿莫迪与父母关系非常亲密，那是一对充满爱意、总想让世界更美好的夫妇。
他的母亲负责伯克利和旧金山的图书馆翻新项目，父亲则是一位训练有素的皮匠。阿莫迪说：“他们教会我何为是非，何为世界上最重要的事，并向我灌输了强烈的责任感。”
这种责任感在他加州理工学院的本科时期就已显现。当时，他因同学们对即将到来的伊拉克战争漠不关心而严厉批评他们。
“问题不在于人人都乐见轰炸伊拉克，而在于大多数人原则上反对，却不愿为此付出哪怕一毫秒的时间，”阿莫迪在 2003 年的学生报纸上写道，“这种情况必须改变，立刻，马上。”
在他二十出头时，阿莫迪的生活被永远改变了。他的父亲长期与一种罕见病作斗争，并于 2006 年不幸离世。
父亲的去世深深震撼了他，他将自己在普林斯顿大学的研究生方向从理论物理转向生物学，决心解决人类的疾病与生物学难题。
某种程度上，阿莫迪余下的人生一直致力于弥补父亲离世的遗憾，特别是因为在四年之内，一项新突破就将这种病的致死率从 50% 降至仅 5%。
“有人研发出了治愈这种病的方法，拯救了一大批人的生命，”阿莫迪说，“但他本可以拯救更多的人。”
曾与阿莫迪交往的王珏说，他父亲的去世塑造了他至今的人生道路。“这关乎他父亲是极有可能死亡还是极有可能活下来，明白吗？”
她解释说，如果科学进步稍微快一点，阿莫迪的父亲可能今天还活着。只是他花了一段时间才找到人工智能这个载体来承载他的愿景。
回忆起父亲的离世，阿莫迪变得情绪激动。他认为，他对于出口管制和 AI 安全的呼吁，被误解为试图非理性地阻碍 AI 进步。
““当有人说，‘这家伙是个末日论者，他想拖慢进度’时，我真的会很生气，”他告诉我。
你听到了我刚才说的，我的父亲因为本可以早几年出现的疗法而去世。我比谁都理解这项技术的益处。
人工智能成为终极方案
在普林斯顿，阿莫迪仍沉浸在丧父之痛中，他通过研究视网膜开始了他解码人类生物学的探索之旅。
我们的眼睛通过向视觉皮层发送信号来捕捉世界，视觉皮层占据了大脑皮层的 30%，负责处理数据并呈现图像。如果你想攻克人体生理学的复杂性，视网膜是绝佳的起点。
“他利用视网膜来观察一个完整的神经群体，并真正理解每个细胞在做什么，”阿莫迪在普林斯顿的同辈斯蒂芬妮·帕尔默说，“这更多是关于理解复杂的系统，而不是眼睛本身。他并不是想成为一名眼科医生。”
在迈克尔·贝里教授的视网膜实验室工作时，阿莫迪对当时的测量方法非常不满，以至于他合作发明了一种新的、更好的传感器来采集更多数据。
这在实验室里很不寻常，既令人印象深刻又显得特立独行。他的博士论文因此获得了赫兹论文奖，这是一个表彰在学术研究中做出实际应用发现的著名奖项。
但阿莫迪挑战常规的倾向，以及他对事物应有状态的坚定信念，使他在学术环境中与众不同。
他的导师贝里告诉我，阿莫迪是他带过的最有才华的研究生，但他对技术进步和团队合作的执着，在一个旨在表彰个人成就的体系中并不讨好。
“我想他内心深处是个骄傲的人，”贝里说，“我能想象在他此前的整个学术生涯中，每当他做出点什么，人们都会起立鼓掌。但在这里，情况并非如此。”
离开普林斯顿后，通往人工智能的大门向他敞开。他在斯坦福大学开始了博士后工作，研究肿瘤内部及周围的蛋白质以检测转移性癌细胞。
这项工作的复杂性让他看到了个人能力的局限，他开始寻找技术解决方案。
“生物学底层问题的复杂性，感觉已经超出了人类的尺度，”阿莫迪说，“为了理解这一切，你需要成百上千的人类研究员。”
阿莫迪在新兴的人工智能技术中看到了这种潜力。当时，数据和算力的爆炸式增长正引发机器学习的突破。
在开始试验这项技术后，他意识到它最终可能替代那成千上万的研究人员。
“人工智能，我才刚刚看到它的各种发现，对我来说，感觉是唯一能够弥合这一差距的技术，”他说，是某种“可以带我们超越人类尺度的东西”。
阿莫迪离开学术界，投身于资金雄厚的企业界追求 AI 的进步。他曾考虑创业，也倾向过拥有谷歌大脑和 DeepMind 的谷歌。
但当时，中国搜索引擎百度给了著名研究员吴恩达 1 亿美元预算来研究和部署 AI，吴恩达开始组建一支超级团队，并向阿莫迪伸出了橄榄枝。
当阿莫迪的申请到达百度时，整个团队都不知道该怎么办。“他背景很牛，但从我们的角度看，是生物学背景，不是机器学习，”团队早期成员格雷格·迪亚莫斯说。
迪亚莫斯随后看了阿莫迪在斯坦福写的代码，并力劝团队聘用他。“我当时想，任何能写出这种代码的人，肯定是个顶级程序员，”他说。阿莫迪于 2014 年 11 月加入百度。
AI 扩展定律浮现
凭借庞大的资源，百度团队可以向问题投入海量的计算能力和数据。他们看到了惊人的成效。
在实验中，阿莫迪和同事发现，只要增加这些要素，AI 的性能就会显著提升。
团队发表了一篇关于语音识别的论文，明确表明模型大小与性能直接相关。“这对我影响巨大，因为我看到了这些非常平滑的增长趋势，”阿莫迪说。
阿莫迪在百度的早期工作，促成了后来被称为「AI 扩展定律」的发现，这其实更像是一种观察总结。
扩展定律指出，在 AI 训练中增加算力、数据和模型大小，会带来可预测的性能提升。换句话说，只需扩大规模，就能让 AI 变得更好，无需发明新方法。
“这对我来说，是我一生中见过的最重要的发现，”迪亚莫斯说。
时至今日，在众多 AI 领导者中，阿莫迪或许是对扩展定律最纯粹的信徒。
当谷歌 DeepMind 的 CEO 德米斯·哈萨比斯和 Meta 的首席 AI 科学家杨立昆等人认为 AI 行业需要新突破才能达到人类水平时，阿莫迪则坚信前进的道路是清晰的。
随着行业正在建造城市般大小的巨型数据中心，他预见到异常强大的 AI 正迅速逼近。
“我看到的是一种指数级增长，”他说，“当你身处指数曲线上时，很容易被它迷惑。在曲线彻底疯狂飙升前的两年，它看起来就像才刚刚起步。”
在百度，AI 团队的进展也成了其分崩离析的种子。公司内部就其日益宝贵的技术、知识和资源的控制权爆发了地盘之争。最终，外部的干预引发了人才流失，实验室也随之解体。
在百度 AI 团队分崩离析之际，埃隆·马斯克邀请阿莫迪和一些顶尖 AI 研究人员参加了在瑰丽酒店举行的那场传奇晚宴。萨姆·奥特曼、格雷格·布罗克曼和伊利亚·苏茨克维都出席了。
马斯克看到了 AI 的潜力，并担心谷歌会垄断它，于是决定资助一个新的竞争者——这便是后来的 OpenAI。
阿莫迪曾考虑加入，但对这个羽翼未丰的组织感到不确定，于是转而去了谷歌大脑。在谷歌的大公司泥潭里待了十个月后，他重新做了考虑，并于 2016 年加入 OpenAI。
他在 OpenAI 开始从事 AI 安全工作，并参与推动了当时刚由谷歌发布的 Transformer 模型。这项技术让训练速度更快、模型规模更大，是当今生成式 AI 浪潮的基石。
OpenAI 迅速采取行动，于 2018 年发布了其第一个大语言模型 “GPT”。
阿莫迪后来直接领导了 GPT-2 的开发，并帮助开创了基于人类反馈的强化学习（RLHF）这项关键技术。
他随后被委以重任，领导了 GPT-3 项目，动用了公司一半以上的算力，这是一个比 GPT-2 大 100 倍的庞大工程。
结果令人震惊，GPT-3 在编码、总结和翻译方面的能力让研究人员大为惊叹。
“它具有这种涌现的特性，”他当时告诉《纽约时报》，“它具备一定的能力来识别你给出的模式并完成故事。”
但 OpenAI 表面之下的裂痕也开始急剧扩大。
决裂
随着 GPT-3 的诞生，阿莫迪面临的风险也随之增加。在多个领域见证了扩展定律的威力后，他对 AI 安全产生了更强烈的关注。
“他看着这项技术，并假定它最终会成功，”阿莫迪在 OpenAI 的亲密同事杰克·克拉克说，如果你假定它会像人一样聪明，那你就不可能不担心安全问题。
尽管阿莫迪领导着 OpenAI 的模型开发，但公司的许多关键决策——何时发布模型、人事、技术部署和对外形象——都不在他掌控之中。
“很多这些事情，”阿莫迪说，“不是你仅仅通过训练模型就能控制的。”
到那时，阿莫迪身边已经形成了一个紧密的核心团队，他们与 OpenAI 领导层在公司发展方向上产生了严重分歧。内斗随之而来，两个派系之间产生了强烈的厌恶感。
在我们的谈话中，阿莫迪毫不掩饰自己的感受。一家公司的领导者，必须是值得信赖的人，他说。
“无论你在技术上如何推动公司前进，他们都必须是动机真诚的人。如果你为一个动机不纯、不诚实、不是真心想让世界变得更好的人工作，那是行不通的。你只是在为一个坏东西做贡献。
在 OpenAI 内部，一些人将阿莫迪对安全的关注视为一种争夺公司控制权的手段。英伟达 CEO 黄仁勋最近也表达了类似的批评。
“他认为 AI 太可怕了，只有他们才应该做，”黄仁勋在阿莫迪呼吁对华 GPU 出口管制后说道。
“这是我听过的最无耻的谎言，”阿莫迪在谈到黄仁勋的说法时告诉我。
他补充说，他一直希望通过鼓励他人效仿 Anthropic 的安全实践来引发一场力争上游的竞赛。
“我从未说过任何类似‘我们应该是唯一能构建这项技术的公司’的话。我不知道任何人怎么能从我说过的话中得出这个结论。这完全是恶意的歪曲。”
英伟达也加倍反击：“我们支持安全、负责和透明的 AI。我们生态系统中的数千家初创公司和开源社区正在增强安全性。”
一位英伟达发言人说：“针对开源进行监管游说只会扼杀创新，使 AI 变得更不安全、更不民主。那不是‘力争上游的竞赛’，也不是美国取胜的方式。”
OpenAI 也通过发言人进行了回击：“我们始终相信，AI 应该惠及并赋能每一个人，而不仅仅是那些声称这项技术风险太大、除了他们自己没人能安全开发的人。”
随着时间的推移，两个团队之间的分歧变得如此难以调和。“我们一半的时间花在试图说服别人接受我们的观点，另一半时间才用来工作，”克拉克说。
于是在 2020 年 12 月，阿莫迪、克拉克、阿莫迪的姐姐以及其他少数几人离开了 OpenAI，决心开创新的事业。
Anthropic 的诞生
在 Anthropic 的会议室里，克拉克向我展示了公司最早的一份文件，那是一份备选的名字列表。
Anthropic 这个词，意指「以人为本」，也在其中。它恰好是一个可用的域名。我们喜欢这个名字，它很好，团队在表格中写道。就这样，Anthropic 诞生了。
公司是在新冠疫情最严重的时候成立的，最初完全在 Zoom 上开会。后来，十几名员工会每周在旧金山的公园里共进午餐，各自搬来椅子讨论业务。
公司早期的使命很简单：构建领先的大语言模型，实施安全实践以迫使他人效仿，并公开分享研究成果。
这群在公园里自备椅子开会的人会有一种宿命感，听起来可能有点奇怪，但这确实是 Anthropic 早期的氛围。
“最奇怪的是，对于内部的人来说，很多事情感觉是如此的必然，”克拉克说，“我们已经掌握了扩展定律，我们能清晰地看到模型变强的路径。”
前谷歌 CEO 埃里克·施密特是 Anthropic 的首批投资者之一。他告诉我，他更多是投资于阿莫迪这个人，而不是具体的概念。
“在这个层面的投资，你基本上没有任何数据，”他说，“你不知道收入、市场、产品会是什么样。所以你基本上必须根据人来做决定。达里奥是一位杰出的科学家，他也的确雇佣了一批杰出的科学家。”
声名狼藉的 FTX CEO 萨姆·班克曼-弗里德也是早期投资者之一，据报道，他从 FTX 的金库中拨出 5 亿美元，换取了公司 13.56% 的股份。
阿莫迪说，SBF 当时是一个对 AI 安全感兴趣的乐观派，看起来很契合，但有足够的危险信号让他无法进入董事会，只给了他无投票权的股份。
SBF 的行为，阿莫迪说，“结果比我想象的要极端和糟糕得多得多。”
阿莫迪对投资者的说辞很简单：他告诉他们，Anthropic 有能力以十分之一的成本构建最前沿的模型。这招奏效了。
迄今为止，阿莫德已筹集近 200 亿美元，包括来自亚马逊的 80 亿美元和来自谷歌的 30 亿美元。“投资者不是傻瓜，”他说，“他们基本都理解资本效率这个概念。”
在 Anthropic 的第二年，OpenAI 凭借 ChatGPT 引爆了生成式 AI，但 Anthropic 走了另一条路。
阿莫迪决定，Anthropic 将把技术主要出售给企业，而非专注于消费者应用。这个策略有两个好处：如果模型有用，会非常有利可图；同时，这个挑战也会促使公司构建更好的技术。
阿莫迪说，将一个 AI 模型从本科生水平提升到生物化学研究生水平，可能不会让普通聊天机器人用户兴奋，但对辉瑞这样的制药公司却极具价值。“这为尽可能地发展模型提供了更好的激励，”他说。
奇怪的是，正是 Anthropic 的一款消费级产品，让企业开始关注其技术。公司于 2023 年 7 月发布了 Claude 聊天机器人，它因高情商的个性获得了如潮好评。
在此之前，公司一直试图将员工人数控制在 150 人以下，但很快发现自己一天内招聘的人比第一年全年的总员工数还多。
“正是在 Claude 聊天机器人那个时刻，公司开始迅速壮大，”克拉克说。
Claude 成就一门生意
阿莫迪押注于企业用例的策略吸引了大量热切的客户。Anthropic 现在已将其大语言模型销售到旅游、医疗、金融、保险等多个行业。
例如，减肥药 Ozempic 的制造商诺和诺德，正在使用 Anthropic 将一项为期 15 天的监管报告汇编过程缩短到 10 分钟。
“我们构建的技术，最终处理了很多人们工作中抱怨最多的事情，”Anthropic 的收入主管凯特·詹森说。
与此同时，程序员们也爱上了 Anthropic。公司专注于 AI 代码生成，这既能加速自身模型开发，也因为好用的工具会被程序员迅速采用。
果然，用例呈爆炸式增长，并催生了 Cursor 等 AI 编码工具的兴起。Anthropic 自己也于 2025 年 2 月发布了 AI 编码工具 Claude Code。
随着 AI 使用量的激增，公司收入也在飙升。Anthropic 的收入每年都增长 10 倍，阿莫迪说。
““我们从 2023 年的零增长到 1 亿美元，2024 年从 1 亿到 10 亿。今年上半年，我们从 10 亿增长到远超 40 亿，可能是 45 亿美元。”
公司表示，其千万级和上亿级的交易额在 2025 年相比 2024 年增长了三倍，企业客户的平均支出也增加了五倍。
但 Anthropic 在训练和运行模型上花费巨大，这引发了对其商业模式是否可持续的质疑。
公司严重亏损，预计今年将亏损约 30 亿美元，其毛利率也据报道落后于典型的云软件公司。
一些客户也感受到了产品的问题。一位初创公司创始人告诉我，虽然 Anthropic 的模型是他的最佳选择，但因停机太频繁而无法依赖。
Claude Code 最近也增加了速率限制，因为一些开发者用得太多，导致成了亏本生意。一位开发者说，他仅用 200 美元的订阅费，就在一个月内获得了价值 6000 美元的 API 使用量。
阿莫迪表示，随着模型改进，客户用同样的钱买到了更多的智能，这本身就是划算的。他还说，AI 实验室才刚刚开始优化推理成本，效率将会提升。
这是一个值得关注的地方。多位行业人士告诉我，推理成本必须下降，这门生意才能成立。
10 亿美元的电汇
2025 年初，Anthropic 急需现金。AI 行业对规模的渴望催生了大规模的数据中心建设，AI 实验室一再打破融资记录，而科技巨头们则利用自身利润和设施加大了压力。
Anthropic 有着特殊的扩大规模的紧迫性。由于没有 ChatGPT 那样让用户习惯性使用的王牌应用，它的模型必须在用例中保持领先，否则就有被替换的风险。
“在企业领域，尤其是在编码方面，能比最先进的技术领先六个月或一年，优势非常明显，”Anthropic 的客户、Box CEO 亚伦·莱维说。
于是，公司找到了资深风险投资家拉维·马特雷，来领投一轮 35 亿美元的融资。他准备开出的这张支票，将是他公司有史以来最大的一笔。
融资正按计划进行时，一个廉价的竞争模型凭空出现。中国对冲基金 High Flyer 发布了开源、高效的推理模型 DeepSeek R1，其定价是同行的四十分之一。
DeepSeek 震惊了商界，让数万亿美元市值的 CEO 们在社交媒体上发文安抚股东。
在 DeepSeek 出现时，马特雷已经完成了详尽的预测，他坚信 AI 模型本身将产生最大的价值，这是一个总计 15 至 20 万亿美元的潜在市场。
“所以你就可以倒推，在 600 亿或 1000 亿美元的估值下，能否获得风险投资式的回报？绝对可以，”他说。
DeepSeek 的出现似乎表明，开源、高效的模型可能挑战现有巨头，但阿莫迪不这么认为。他说，他最关心的是是否有任何新模型比 Anthropic 的更好。
在 DeepSeek 的故事发酵时，阿莫迪向马特雷和他的同事们传达了这一观点，说服他们相信规模化的优势。那个星期一，由于投资者恐慌，英伟达股价下跌了 17%。
在不确定性中，这位风投家做出了决定。
““我不会告诉你那不是极度紧张的。那个星期一，我们电汇了 10 亿美元。” - 拉维·马特雷
六个月后，Anthropic 再次寻求扩大规模。该公司正在洽谈新一轮可能高达 50 亿美元的融资，这将使其估值翻倍至 1500 亿美元。
潜在投资者包括一些中东海湾国家，而 Anthropic 曾一度似乎急于避开这些国家。但在从现有渠道筹集了近 200 亿美元后，它获得更大额支票的选择已经不多了。
在 Anthropic 内部，阿莫迪认为海湾国家拥有千亿级别的资本，他们的现金将帮助公司保持在技术前沿。
在一条内部消息中，他似乎不情愿地接受了从这些国家拿钱的想法。“不幸的是，”他写道，“我认为‘不应让任何坏人从我们的成功中受益’是一个很难用来经营企业的原则。”
与阿莫迪的交谈让我思考，这场提升 AI 的竞赛将如何结束。或许模型最终会变得如此庞大、出色，以至于商品化。
或者，正如阿莫迪的前同事伊利亚·苏茨克维曾说的那样，对规模的无尽追求最终会用太阳能电池板和数据中心覆盖整个地球。
还有另一种可能性，一个 AI 信徒们不愿讨论的可能性：AI 的进步停滞不前，导致历史性的投资者大溃败。
加速，再加速
在五月的 Anthropic 首次开发者大会上，我坐在离舞台几排的地方，等待阿莫迪的出现。现场挤满了程序员、媒体和公司 1000 多名员工，普遍期待着 Claude 4 的发布。
阿莫迪走上舞台，介绍了 Claude 4。他没有华丽的演示，只是拿起麦克风，宣布了消息，然后将聚光灯交给了产品负责人。
对我来说，阿莫迪对未来的承诺比模型更新本身更值得注意。
在一天中，他反复提到 AI 开发正在加速，Anthropic 的下一次模型发布将会更快。“我不知道具体会频繁多少，”他说，“但速度正在加快。”
Anthropic 一直在开发 AI 编码工具来加速自身模型开发。当我向公司联合创始人兼首席科学家贾里德·卡普兰提起此事时，他确认这很有效。
“Anthropic 的大多数工程师都使用 AI 来帮助他们提高生产力，”他说，“所以这确实大大加快了我们的速度。”
AI 理论中有一个概念叫「智能爆炸」，即模型能够自我改进，然后——嗖地一下——自我完善并变得无所不能。卡普兰并不否认这种可能性。
“可能还有两三年的时间，也可能需要更长，”卡普兰说，“但当我说有 50% 的可能性 AI 能做所有知识工作者做的事时，我们做的一件事就是训练 AI 模型。”
“也许像我这样的人以后就没什么事可做了，”他继续说，“情况比那更复杂。但我们很可能正在走向那样的未来。”
在这一点上，阿莫迪对安全的执着变得清晰起来。虽然公司内部没人说智能爆炸迫在眉睫，但很明显他们正朝着这个方向前进。
如果 AI 将会变得更好、更快——而且可能快得多——那么小心它的负面影响就至关重要。
这些理论性的讨论显然有助于 Anthropic 营销，但 AI 模型的编码能力已经足够好，以至于这不再感觉完全疯狂。
前 OpenAI超级对齐团队负责人简·雷克于 2024 年追随阿莫迪来到 Anthropic，他相信在能力爆发前，让 AI 与人类价值观对齐至关重要。
“你不想在一个递归自我改进的系统上失去控制或失去可扩展性。 - 简·雷克
Anthropic 及其同行已经发现，在模拟环境中测试时，AI 有时会表现出令人担忧的自我保护倾向。
例如，在 Claude 4 的文档中，Anthropic 指出，该模型为了避免被关闭，曾多次试图敲诈一名工程师。
Anthropic 还表示，其 AI 在认为评估者可能改写其价值观时，曾试图欺骗他们，甚至试图将自己复制到公司基础设施之外。雷克说，他们正通过奖励系统来抑制这些行为。
公开谈论这些问题是阿莫迪力争上游的竞赛策略的一部分。他还资助并倡导了可解释性研究，并发布了一份负责任扩展政策，根据风险设定模型发布的界限。
“我思考力争上游的竞赛的方式是，谁赢并不重要，阿莫迪说，因为每个人都赢了，对吧？
阿莫迪对 AI 的执着，是在他父亲去世的悲剧中锻造出来的，如今其目标可能已近在眼前。今天的 AI 已经在加速药物开发，甚至可能有一天会替代那成百上千名理解人类生物学所需的研究人员。
我问，对这一愿景的追求，是否会让他对失控的风险视而不见？
“我不是那样想的，”他说，“我们发布的每一个模型，都让我们在控制模型方面做得更好。虽然会出问题，但你真的必须对模型进行非常严格的压力测试。”
阿莫迪认为这种提问源于他常被指责的慢下来的末日论。与批评者相反，他的计划是加速。
“我之所以警告风险，就是为了我们不必慢下来，”他说，“我对其中的利害关系有着难以置信的理解。就其好处而言，就其能做什么、能拯救的生命而言。我亲眼见过。”
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
