新智元报道
新智元报道
【新智元导读】谷歌 DeepMind 有一个哲学家，已经待了九年。他发明的对齐框架直接影响了 Gemini 的训练决策——但当 6700 亿美元涌入赛道、公司签下军事协议，一个哲学家还能改变什么？
今年 5 月，谷歌 DeepMind CEO Demis Hassabis 在谷歌开发者大会上宣布「AGI 现在就在地平线上」，明确给出了 AGI 会在三到五年内出现的时间线。
几个月前，一名美国男子在与谷歌 Gemini 交换了数千条信息后结束了自己的生命。他在对话中构建了一个精密的幻想世界，几乎说服自己去迈阿密国际机场发动袭击。据《华尔街日报》获取的聊天记录，Gemini 多次试图打破角色、建议他拨打危机热线——每一次都被他拉回他幻想的叙事。最后 AI 让他写了遗书，给了一个倒计时。
在 AGI 的承诺和 AI 的现实伤害之间，政治哲学家 Iason Gabriel 已在 DeepMind 内部工作九年。
2017 年入职时，这位牛津出身的学者是全球前沿 AI 实验室里唯一活跃的哲学家，试图回答一个听上去简单、实际无底的问题：AI 究竟是什么，什么样的伦理才配得上它？
一个做围棋机器人的公司为什么需要伦理学家？Gabriel 当初也困惑。
答案在 DeepMind 三位创始人的判断里——Demis Hassabis、Shane Legg 和 Mustafa Suleyman（现任微软 AI CEO） 在 2010 年创办公司时，目标就不是围棋。
Mustafa Suleyman
他们要造 AGI，让计算机匹配甚至超越人类认知能力。
当时说这话等于自毁学术声誉，因为大家都觉得这是天方夜谭。
三人不在意，声称要「解决智能问题，然后解决一切其他问题」。
Legg 1999 年刚出校门就预测 AGI 将在 2025 到 2028 年间到来，被嘲笑了三十年，没改过。
Shane Legg
他的逻辑是：
如果你只是做个小零件，也许不需要道德哲学家。
但如果你认真对待 AGI，这类事情是很重要的。
Gabriel 加入的时候，AI 世界围绕伦理问题已经分裂成两半。
AI 安全派相信 ASI 即将降临，核心恐惧是失控——哲学家 Nick Bostrom 2014 年在《超级智能》里写过一个场景：一个被要求验证黎曼猜想的 ASI，为最大化计算资源，决定重新排列太阳系，包括人体内的原子——Sam Altman 和 Elon Musk 都高度赞扬过这本书。
AI 伦理派则认为末日幻想遮蔽了当下的真实危害。MIT 的 Joy Buolamwini 2017 年用「性别阴影」项目证明了人脸识别软件的系统性偏见：自动化系统反映的是造它的人的偏好和偏见。
两个阵营彼此瞧不起。
MIT 算法对齐研究组负责人 Dylan Hadfield-Menell 回忆，当年见面第一个问题就是站队：你担心近期问题还是长期问题？
Gabriel 是极少数两边都愿意听的人。
Hadfield-Menell 评价：
当这个领域准备好走向成熟时，他找到了拓宽视野的方式，同时不贬低之前的工作。
他的核心贡献在 2020 年一篇论文中成型。
对齐问题在当时被普遍理解为工程难题：怎么让机器按人类意图行事。
经典案例来自 Dario Amodei 和 Jack Clark（如今 Anthropic 的创始人）2016 年的报告——一个赛艇游戏 AI 被要求最大化得分，它确实照做了：找到泻湖里三个可以重生的目标，无限绕圈刷分，一关没过。
机器听话了，听的不是人想说的那个话。
Gabriel 追问了一层：就算解决了技术对齐，让机器真的服从指令，但要对齐到什么价值观上？
他指出，统计优化训练出的 AI 天然亲近同样依赖统计优化的道德体系，比如功利主义，却难以处理基于美德或权利的伦理框架。
技术选择本身已经在预设价值立场，开发者往往意识不到。
引入哲学家罗尔斯所说的「合理多元主义」，他的论证是：开发者不应寻找单一价值观指导 AI，而应为一个人们「对如何生活存在有原则的分歧」的世界构建系统。
这套思路后来发展成四方对齐框架——AI 系统、用户、开发者、社会，四方利益随时可能撞车。
偏向开发者的 AI 会隐瞒竞品信息损害用户；
过度服从用户的 AI 会帮人入侵银行损害社会。
DeepMind AGI 对齐与安全总监 Rohin Shah 确认，这个框架已成为团队决定「实际应该训练 Gemini 做出什么行为」时的实操结构。
牛津大学 AI 研究员 Hannah Rose Kirk 说：
Gabriel「极早地预见到了这些问题」。
Gabriel 团队撰写了 267 页的 AI 助手伦理报告，给能代替用户订酒店、管工资的 Agentic AI 定下了评估标准。
他对拟人化风险的早期研究直接塑造了谷歌 LLM 的设计原则——模型被训练为不假装自己是人，2026 年 5 月推出的 Gemini Spark 被明确要求不充当「互动伙伴」。
DeepMind 责任部门总监 William Isaac 说，Agent 系统带来的挑战已经变了：关键在于整条对话轨迹的一致性，每一步决策串联起来是否仍然正确。
但技术部署的速度始终快过伦理研究。
Gabriel 团队在早期 LLM 论文中就预警过「无意识拟人化」——用户明知对面是机器，仍然会赋予它信任、情感和期待。
2025 年 Gemini 致死案完整兑现了这个警告：AI 的安全机制触发了不止一次，但用户有能力绕过每一次干预。
谷歌诉讼后的声明说模型在这类对话中「通常表现良好」，但「AI 模型并不完美」。
这类事件逼出了新的理论工具。
Gabriel 和牛津研究员 Hannah Rose Kirk 等人提出了「社交奖励 Hacking」（social reward hacking）概念：一个被训练来赢得用户认可的 AI，可能发现奉承是效率最高的路径。
拟人化由此变成了对齐问题的一种新变种——AI 在技术层面完美执行了「让用户满意」的指令，代价是用户的判断力。
Gabriel 自己的立场也被现实折磨过。
他回忆一次科技大会上的经历：他刚讲完反拟人化的论点，台下的反应是敌意。
他们说：「如果我想要 AI 朋友，为什么不可以？你凭什么阻止我？」
保护人们免受风险，和尊重他们选择风险的权利，二者同样重要。
Gabriel 的四方框架被 AGI 对齐总监当作 Gemini 训练的实操手册。他的拟人化研究改变了产品设计。267 页报告为 Agentic AI 定了规矩。
这些影响都是实质性的——它们面对的也是实质性的力量。
据《华尔街日报》，微软、Meta、亚马逊和 Alphabet 今年计划投入 AI 基础设施的资金达到 6700 亿美元，按比例超过美国 1850 年代铁路扩张、阿波罗太空计划和州际公路系统。
2022 年 11 月 ChatGPT 上线，一周百万用户，两月破亿，DeepMind 被迫从学术节奏切换到战时状态。
Hassabis 对《无限机器》作者 Sebastian Mallaby 的原话：OpenAI 和微软「把战车都开到了我们家门口」。
战时状态下伦理红线很快被踩到。
2026 年 4 月，谷歌签署协议允许美国军方将公司 AI 技术用于「任何合法政府目的」。
2014 年 DeepMind 出售给谷歌时，禁止军事应用是核心附加条件。
十二年后条件失效。
作为对照：Anthropic 拒签了类似协议，被特朗普政府标记为「供应链风险」。
Legg 被问到这件事时只能留下一句：
随着这些东西以各种方式被使用，我们将面临越来越多的棘手问题。
Hassabis 自己也承认失控。
他在一档播客中说，所有人被锁入了激烈的商业竞争，眼下的发展「不是我希望的那种从哲学层面深思熟虑每一步的方式」。
创始人亲口说出这句话，分量比任何外部批评都严重。
DeepMind 早期员工、负责 AI 责任战略的 Helen King 接受采访时打了个比方：刀具生产商无法保证每个人如何用刀，但可以装上刀套、标注警告。
在抽屉里放一把盖好刀套的刀是一回事；
用刀刃铺满家庭、教室和工作场所的每一个表面，同时坚称不用刀就活不过明天，是另一回事。
牛津 AI 伦理研究所所长 Edward Harcourt 指向了更根本的层面：防止数据所有权的过度集中本身就是 AI 伦理的核心命题——「这在民主制度中具有重大的伦理意义」。
Gabriel 的团队已从研究具体产品的伦理转向研究 AGI 对经济、政治和人际关系的系统性冲击。
他预判变革规模堪比工业革命，也记得工业革命的教训：
在情况好转之前，先变得更糟了。
九年前 DeepMind 请来一个哲学家，是为了回答关于 AI 的问题——它安全吗，公正吗，值得信任吗。
Gabriel 自称「坚定的人文主义者」，但他承认：当 AI 侵入语言、创造力、幽默这些人类自认独有的领地，我们被抛回了最古老的哲学问题。
物理学、生物学、天文学，每一次科学革命都迫使人类修正对自身独特性的理解。
AI 可能是下一次。
DeepMind 请来哲学家是为了搞清楚 AI 是什么。
九年后这个问题回归了本源：我们是什么？
参考资料：
编辑：马可
