AI“自我进化”的悖论：当算法开始编写下一代算法，我们该警惕什么？

【科技纵览】刘慈欣在《乡村教师》中曾描绘过一种文明困境：人类缺乏记忆遗传，每一代人都需从零开始学习，却仍能迈向太空。这种跨代知识传递的成本极高，而教师正是填补这一鸿沟的关键角色。如今，一个更具颠覆性的设想正在浮现：如果参与研究的智能体，能够协助制造出更强大的下一代智能呢？这不仅是效率的提升，更是知识积累范式的根本性转变。

今年9月29日，特朗普签署行政命令，要求美国行政部门在法律允许范围内，将官方通信中的“AI”改称为“SI”（超级智能）。尽管文件定义显示SI目前仍涵盖现有法律定义的AI范畴，但名称的变更已引发广泛讨论。相比名号之争，业界更关注的是实质性的技术演进——让当前的AI介入未来AI的研发过程，即所谓的“递归自我改进”（RSI）。

过去，模型开发完全由人类主导，从提出方法到编码、训练、测试，每一步都依赖人力。如今，Google的AlphaEvolve系统展示了新的可能性：它利用Gemini生成候选程序，运行并评估结果，进而沿表现优异的路径继续优化。据披露，该系统发现的一项优化使Gemini关键计算核加速23%，整体训练时间缩短约1%。值得注意的是，支撑这套系统的模型本身，已经应用了它所发现的改进措施。这就形成了一种闭环反馈：模型改善训练条件，优化后的条件又助力后续模型的开发。

理解RSI的核心，在于厘清它与人工超级智能（ASI）的区别。ASI指向一种能力目标，即在广泛领域超越人类；而RSI描述的是一种改进过程。一个系统可能在有限任务上实现自我迭代，却远未达到超级智能的水平。然而，若将两者结合，便产生了一个令人既兴奋又恐惧的假设：足够强的AI参与研发，产出更强的AI，进而进一步提升研发能力。这种循环能持续多久？是否会指数级加速？目前尚无定论。Anthropic明确指出，完整的RSI尚未实现，且非必然发生。AlphaEvolve带来的1%提升虽有工程价值，但“无限自进化”仍是待验证的远景。反复修改同一段代码，很快会触及容易优化的天花板，企业需解决比生成代码更复杂的难题。

在“自我改进”的光环下，一个关键问题常被忽视：如何判定改进是“更好”的？日常使用中，AI可能将错误解释得流畅自然，这与接近事实之间存在巨大落差。在RSI语境下，这一问题被放大至研发核心。我们可以区分两类改进：一是提升自身执行能力，如解题速度或准确率，这需要人类预设标准并验收；二是优化寻找改进的方法，即调整实验策略以提升研发效率。此时，判断依据变得模糊：若方案节省时间但增加错误率，是否可接受？若结果漂亮却无法复现，算不算进步？

Klarna的工程团队曾遭遇此类困境。他们用AI寻找更快的训练代码，部分候选方案虽运行迅速，却无法保证相同条件下的可复现性。工程师最终不得不将“可复现性”纳入筛选条件，而非仅看速度。这表明，系统能找到符合特定指标的“好”办法，但该指标未必涵盖我们对“好”的全部定义。遗漏的要求，仍需人类补位。若未来连评估方法也交由AI改进，谁来确认新测试未放过原有漏洞？若仅靠同一系统自证清白，其可靠性值得怀疑。因此，自进化可探索新方法，但安全边界不能仅凭系统自评而取消。允许其寻找更快路径，不等于允许其自行放宽限制。即便评估工具由AI辅助开发，独立检查与实际验证不可或缺。

这也关乎企业如何叙事。研发速度与模型分数易于展示，而可靠性与安全性则需漫长验证。开发者既受益于技术进步，又参与制定评价标准，其判断值得倾听，但不应成为唯一准绳。我们需要关注的，不仅是AI能否自我研究，更是哪些要求始终有效、谁有权修改这些要求，以及出问题后谁能叫停。这些问题尚未解决，但企业竞争已迫使它们尽快推出下一代模型。

为何RSI未完全实现，公司却已纷纷下注？因为它可能重塑开发下一代AI的速度。过去，更强模型主要用于吸引用户；现在，它还能辅助团队写程序、做实验。若此模式有效，公司可更早产出下一代模型，并利用其继续研发。今天的成果，直接影响明天取得突破的速度。这使得“等待”变得昂贵。一家公司若选择观望，待技术成熟再跟进，可能因竞争对手率先找到有效方法而落后。届时，追赶的差距或许不止一次模型发布。当然，提前投入也可能失败，实验成本高昂且不保证回报。企业面临两种无法预知的代价：投入无回报，或等待失先机。

Anthropic曾公开探讨这一困境：放慢研发可为社会争取准备时间，但若仅部分公司放缓，其他竞争者继续推进，结果仅是领先者易主。担忧风险与继续研发可以并存。一家公司的决定只能约束自身，无法保证对手止步。即使共识认为路线存在诸多问题，谁先等待、等待多久，难以达成一致。我理解企业不愿在技术变革中被甩下的焦虑，但这种竞争逻辑可能导致判断标准异化。技术能解决什么问题、承担何种代价，逐渐让位于更急迫的问题：竞争者是否已开始行动？竞争推动研究，也可能促使企业在路线未充分验证时不断追加投入。RSI尤其容易放大这种压力，其承诺的收益包含更快取得下一次进步的可能。错过一次，企业担心的不仅是少卖一款产品，更是此后研发能力的代差。

这种担忧解释了企业的选择，却不足以证明加速必然值得。我乐见AI参与制造下一代AI，许多难题亟待解决，许多人等不起漫长的研究周期。若自我改进能让新发现更早出现，惠及更多人，我们有理由期待。正如《乡村教师》中的教师将知识传递给下一代，AI有望缩短这段积累时间。但如何使用新能力、接受何种风险，仍需人类判断。我们希望制造更强智能，也应对其提出更高要求。下一代AI到来时，人应拥有更多选择权，更有能力决定自己的生活。这样的进步，才值得我们加快脚步。