出品｜搜狐科技
作者｜梁昌均
“如果能有效地减缓AI的发展速度，从而为我们争取更多时间来应对其巨大影响，我们认为这很可能是一件好事。”最近因上市而风头正劲的Anthropic公开发文呼吁暂缓AI研究。
今日早些时候，Anthropic发布万字长文《When AI builds itself》（《当AI开始自我构建》），提到AI正加速发展，将朝着递归自我改进（recursive self-improvement）的方向演进。
换句话说，AI可以自我进化构建，自己造自己了，而人类将成为按下开始键但却无法控制最终走向的旁观者。
该公司认为，AI自我构建将是技术史上的重大突破，有望在科学、医疗及其他领域为世界带来巨大福祉，但这也可能加剧人类失去对AI系统控制的风险。
“如果系统具备完全自主构建自身继任者的能力，那么我们如何确保它们的安全、监控它们的运行以及引导其行为，都将变得愈加重要。”该文由此呼吁放缓或暂停对AI的研究。
这家万亿美元估值、正在冲刺上市的顶尖AI公司大喊技术刹车，引发争议——这到底是一种吸引眼球的营销方式，还是出于对人类未来命运的深沉关切？
AI将走向自我进化构建
Anthropic在这篇长文中花了大量篇幅证明AI正在加速发展，未来AI系统自身将完全能够自主设计并开发出继任者。
“这种现象被称为递归自我改进。我们目前尚未达到这一阶段，但其并非不可避免。它的到来，可能比大多数机构所准备的要来得更早。”文章警告称。
Anthropic结合外部和内部对此进行了举证。从技术发展来看，AI模型改进的速度正在加快，模型能够独立可靠完成的任务时长，约每四个月翻一番，相比此前每七个月翻一番明显加速。
文章提到，Claude Opus 3在2024年3月仅能完成人类约需要四分钟的软件任务，一年后的Claude Sonnet 3.7 能处理约一个半小时的任务，而Claude Opus 4.6已能胜任12小时的任务。
“按这个趋势，需要一个熟练工程师花几天才能完成的任务，今年就可能落入AI的能力范围。到2027年，AI系统可能有能力处理需要一个人花几周完成的任务。”
文章还披露了Anthropic的内部研究。截至今年5月，Anthropic有超过80%的代码都是由Claude编写，而一年前还在低个位数的水平。
今年二季度，这家公司一名典型工程师每天合并的代码量是2024年的8倍，意味着生产力的巨大提升。“大部分代码由Claude编写，工程师的角色转向了指导和审查。”
文章还提到，Claude的代码能力不断提升。 在难度最高的开放式任务中，Claude的成功率在今年5月达到76%，较半年前提升了50个百分点。
“许多人认为，去年末由Claude编写的代码质量仍逊于人类编写的代码，但如今两者的质量已基本相当。我们预计，到今年年底，Claude编写的代码质量将超越人类编写的代码。”
此外，Claude在自主提出实验方面的能力，以及将研究引向更有价值的发现能力越来越出色。
这些证据表明，在AI开发环节，人类作用正在逐渐缩小。人类的比较优势在于研究品味与判断力，包括选择哪些问题值得研究、哪些结果值得信赖等。
Anthropic还在文章中强调，未来真正重要的是那些仍掌握在人类手中的工作——即选择哪些问题去解决。如果没有这种判断力，Claude充其量只是一位称职的助手，而绝非能够独立推动AI进步的系统。
目前尚无法确知，如今的训练方法与架构能否真正激发这种潜力。
不过，文章认为，AI发展多数时候都是渐进式的。未来大规模的研究进步，很大程度上取决于工具与资源，而判断能力、研究品味将是AI系统难以掌握、但会逐渐精通的能力。
AI未来发展的三条路径
这篇文章还对AI未来发展的三种可能进行了分析。第一是这种趋势停止，技术发展会呈现S型曲线，目前或许正逼近曲线的拐点。
文章提到，能源和计算，芯片制造速度、电网扩容或互连带宽能力，都可能成为制约因素，而非智能本身。要打破技术瓶颈，需要全新思路，比如取代Transformer的全新架构设计。
“我们目前还处于AI模型向更广泛经济领域扩散的初期阶段……这将为政府和社会提供最长的适应时间。我们更担忧接下来的两种情景：它们发展速度更快，准备的时间也少得多。”
第二种情景即AI继续以指数级的速度发展。这将使得AI开发基本实现全面自动化，但人类仍将负责设定研究方向并评判最终成果。采用AI系统的组织和个人的生产力将显著倍增，人类的角色将发生转变，但也可能被用于有害目的。
最后一种情景则是如果技术趋势得以持续，且AI系统能够发展出人类固有的变革性、创造性的能力，那么AI系统完全有可能自行设计并不断完善自身，即具备完全递归自我改进的能力，并可以构建继任者。
在这个世界里，AI发展的步伐完全取决于计算资源的可获得性（或算法训练与推理过程中效率提升的速度），人类所扮演的角色将大幅减弱，更多精力转向对由AI系统运行的监督、验证与确认工作。
Anthropic在文中预计，具备自动化AI研发能力的系统将拥有可迁移到其他科学领域的技能，从而开启一场席卷各领域的革命性变革。
“但未来的对齐问题究竟会得到解决，抑或根本无法解决，这是我们最不确定的。”文章认为这有两个可能性，一是模型可能足够明智，一旦察觉到潜在风险便主动叫停研发进程。
另一种可能性是：如今模型中罕见的对齐偏差现象，随着模型不断迭代升级而逐渐累积放大，变得愈发频繁、愈发难以理解，直至人类彻底失去对其的掌控。
“从本质上讲，一个快速递归自我改进所驱动的世界，可能会逐渐被这种自我改进的模型所主导——其能力将全面超越人类，并将迅速在整个经济体中扩散开来。”
Anthropic进一步预计，具身智能（即机器人技术）可能也会遵循类似路径：效率不断提升、成本不断降低，出现更强大的智能。
这并不意味着生产方式、社会运行模式会立即发生改变。“但这种由递归自我改进驱动的智能加速发展和人类世界、人际关系以及治理结构的碰撞交汇，是未来无法预知的图景。”
呼吁暂缓研发是营销还是为了人类？
为应对AI自我进化带来的失控风险，Anthropic在文章中呼吁全球实验室一起放缓或暂停对技术的研发。
“但若放缓步伐仅仅让那些最不谨慎的行动者在技术上迎头赶上，反而可能使所有人面临更大的安全风险。”
这句话就差指名道姓，点出Anthropic的最大对手——OpenAI。Anthropic的创始人此前正是因和OpenAI有不同的AI安全理念而自立门户，并以发展安全的AI作为企业使命。
实际上，人类对AI失控的担忧并不是新话题，马斯克等人十年前就表达出类似看法，认为AI远比核武器更危险，不应该由少数企业垄断，这也是其当时参与成立OpenAI的初衷。
三年前，在美国生命未来研究所发起的联合声明中，马斯克、图灵奖得主约书亚·本吉奥等超过3万人签名，呼吁OpenAI等暂停AI研究六个月。
马斯克后来通过成立xAI入局AI竞赛，这也使其呼吁暂停研发的动机长期受到质疑，很多人认为这是马斯克在落后的AI竞赛中采取的一种竞争策略。
实际上，AI自主进化带来的失控风险已在学术界引起重视。
早前，清华大学智能产业研究院创始院长张亚勤，联合本吉奥、姚期智等多位全球顶尖AI科学家发起的一份声明，就呼吁各国正视AI网络攻击、生物安全风险，包括逐步走向自主化的AI系统可能出现失控的问题，并强调各国要加强守护关键基础设施、强化前沿AI模型的安全防护、建立完善的风险评估体系等。
现在，Anthropic再次抗起AI安全的大旗。作为一家通过持续研发实现AI领先的明星企业，这究竟是一种营销竞争策略，还是出于真诚的人类公共安全关切，市场再次陷入争议。
有观点认为，这是Anthropic在上市期间采取的PR动作，意在通过公共利益叙事来强化自身安全“人设”，尽管其已经抛弃了将安全置于最高使命的初心。
也有业内人士认为，这是在玩“恐惧即护城河”的把戏——通过强调自身技术领先，未来无法把控，从而影响监管决策，把后来者挡在门外，是应对激烈竞争的曲线方式，背后是对商业利益和参与制定规则的诉求。
一位国内AI从业者则表示，周围并无太多人讨论Anthropic这篇文章，但其认可AI将会自我进化的判断，AI在模型研发中的比重将会不断增加。实际上，国内已有大模型公司正在尝试用AI进行模型的自我迭代。
但相比马斯克等前述更多出于道德且缺乏建议性的呼吁，Anthropic这次呼吁暂停AI研究则提出了可参考的方向——建立一个全球性的可协调、可验证的透明机制，提供一种放缓或暂停前沿AI发展的选项，从而推动社会结构与对齐研究跟上技术进步的步伐。
Anthropic表示，将与众多合作伙伴携手开展研究，并采取行动，以助力构建实现可信放缓或暂停所必需的各类体系。这些体系将使前沿AI开发者能够验证各方是否确实已停止或放慢了发展步伐，同时确保恶意行为者无法借由放缓之名暗中抢跑。
同时，还必须明确规定：触发暂停的条件、何时解除暂停，以及由谁来负责裁定。Anthropic表示，如果此类体系得以建立，其便会相应地放缓或暂停自身的研发进程。
“某个实验室单方面暂停行动能立即实现，但效果要小得多：它或许能改变谁是领跑者，却无法催生目前所缺失的更广泛的协商与审议过程。”Anthropic表示。
换句话说，Anthropic很清楚，如果自己单方面暂停，而OpenAI、谷歌等企业不停，那自己就可能失去AI赛道的竞争优势，所以要停一起停，而且还要彼此验证是否已经暂停。
“这一切在原则上并非完全不可能，而现在正是共同探讨这些问题的绝佳时机。”但问题是，Anthropic、OpenAI、谷歌们，真的会愿意停下来吗？
运营编辑 | 曹倩 审核｜孟莎莎
