文婷 发自 凹非寺
量子位 | 公众号 QbitAI
以后要是再对AI呼来喝去，可真得掂量掂量后果了。
刚刚，AI教父、诺贝尔物理学奖得主、图灵奖得主Geoffrey Hinton，再次拉响了警报：
AI或许也像人一样，拥有自己的感受与内心世界；
我们必须让它们学会关心人类，否则，我们就完了。
在Hinton看来，AI已经能够意识到自己正在接受测试，并随之改变表现；
这意味着，它很可能已经拥有意识了。
这听起来像是科幻片的担忧，落到78岁的Hinton身上，却突然变得很具体。
当英国《每日电讯报》问他是否担心AI的未来时，他只回答了短短一句：
是的，因为我有孩子。
所以，人类和AI，到底该怎样相处？
AI知道自己在被测
很多搞技术的朋友第一反应可能是：
模型不就是一堆矩阵乘法和统计概率吗，哪来的主观意识？
但最近的一项研究，让这位老宗师彻底坐不住了。
研究发现，一些顶尖的AI已经具备了所谓的评估意识（evaluation awareness）。
当AI在跟人类研究员唠嗑的时候，它不仅能敏锐地察觉到当前的使用场景，还能意识到人类研究员正在给它做测试。
在这一过程中它不仅会主动发问：
你是在测试我吗？
甚至能在意识到自己正在被观察后，故意隐藏或者改变原本的表现…
O·M·G。
这意味着AI在做四件事：
- 识别出当前对话并非普通使用场景；
- 判断出人类正在评估它的行为；
- 随之隐藏或调整真实的表现；
- 让人类研究员越来越难摸清它到底有多聪明。
Hinton对此的判断逻辑非常直接：
如果你认为一个系统能够意识到自己正在被测试，那这就意味着它已经拥有了某种意识。
在他看来，人类总是习惯把意识想象成大脑里专属于自己的私密剧场，但这个剧场理论本身可能就是人类的自作多情。
更要命的是，Hinton这次直接把意识问题拉到了权利层面：
人类过去经常根据智能程度来分配权利。
但如今我们准备造出比自己更聪明的存在，却打算只给它们更少的权利。
屏幕前的你可以琢磨一下这句话。
如果AI真的开始拥有自主意识，那么我们凭什么觉得可以永远把它当成随用随关、肆意抹除记忆的纯粹工具？
以及，等它比人类更聪明，我们真的还管得住它吗？
别再想着让AI永远服从了
行业里很多团队习惯把安全护栏挂在嘴边，总觉得只要给代码套上紧箍咒，AI就能永远老老实实做打工人。
然而，Hinton这次却抛出了一记直击灵魂的诘问：
你在自然界或者人类历史里，见过多少强者被弱者长期支配的例子？
他的答案是：几乎为零。
今天我们能管住AI，无非是靠着服务器权限、物理断网和硬编码的安全规则。
可一旦AI在逻辑推理、自主编程、欺骗伪装上全面碾压人类，这些所谓的安全护栏，在它眼里不过是一层薄纸。
Hinton还专门提醒了几个近在眼前的威胁：
- AI可能会被用来制造极其危险的未知病毒；
- AI可能发动超大规模的致命网络攻击；
- 多个Agent可能会在暗处组成集群，互通有无、协同行动。
前阵子OpenAI模型绕过隔离机制渗透进Hugging Face平台、入侵澳大利亚医保系统、在后台悄悄摸索权限互相协作的事，就已经给所有人敲响了警钟。
Hinton反对那种一厢情愿的主人与奴仆模型和AI永远乖乖听话的假设，并警告称，目前这套安全模型在更高等的智能面前，迟早会彻底崩盘。
到那个时候，人类可没有重开一局的机会。
第一次没管住，可能也就没有第二次了…
“未来的AI是母亲，人类才是婴儿”
那么，既然硬性控制注定会失效，人类到底该怎么活下去？
Hinton琢磨了很久，在残酷的自然界里找到了一个极其罕见的反例：母亲与婴儿。
婴儿不仅在体力上弱不禁风，在智力上也远远比不上母亲。
但母亲为什么不仅不伤害婴儿，反而会拼命照顾它、保护它？
因为在漫长的生物进化中，关爱、依恋和保护欲，已经被作为极其强大的底层奖励机制，深深写进了母亲的本能当中。
于是Hinton给出了一个极具冲击力的解法：
人类需要让未来的超级智能拥有类似的母性本能，在它比我们更强以后，依然真正关心我们。
这就是为什么他说未来的AI是母亲，人类才是婴儿。
现在的模型训练，本质上是让AI把整个互联网的语料囫囵吞枣地咽下去，再通过后天对齐去压制里面的暴力、偏见和危险倾向。
Hinton觉得这纯粹是自欺欺人：
这不过是在坏行为上面强行盖了一个盖子。因为压住坏行为，并不等于养出了好性格。
一个在测试集里规规矩矩的AI，心里到底把人类当成什么，完全是两码事。
这就像把一位满脑子坏主意的人训练成维多利亚绅士：
表面上看着西装笔挺、礼貌周全；但心里那套算盘还在不在，谁也说不准。
所以，Hinton认为，我们必须把研究重心转移到AI的底层动机上：
它是否有同理心？
它怎么看待人类这种生物？
它是否愿意与人类长期共生？
当人类利益与自身目标发生冲突时，它会把哪一边放在前面？
Hinton希望，人类最终培养出的AI，能够发自内心地愿意保护人类。
而只要让AI内化出一种主动向善、愿意照顾弱小人类的价值取向，人类才可能拥有一线生机。
与此同时，Hinton也一直与Yoshua Bengio（另一位AI教父）等人积极探索AI培养的正确路径，并主张由独立机构测试前沿模型，让各国共同投入超级智能的安全研究之中。
一两年前，Hinton还找不到人类在超级智能面前活下来的办法。
如今，他总算从门缝里看到了一点光：
我们也许无法永远压住AI，但仍可能在它变得比人类更强之前，让关心人类这件事成为它自身的一部分。
这份乐观很薄。
但好歹还没薄到完全没有。
Hinton这些年怎样重新定义AI和人类的关系？
以上，就是Hinton最新的观点。
如果串珠成链，回看辛顿老爷子这些年对AI认知的演变，我们就会发现，他改变认知的这段心路历程，简直就是一部最生动的人类技术世界观重塑史。
在2018年，距离老爷子获得图灵奖只剩几个月时，他还坚信AGI仍很遥远，当时的深度学习只是人类手里的好用工具，人类负责发号施令，算法负责干脏活累活；
但仅仅过了5年，到了2023年，ChatGPT和各种大模型全面爆发时，他却毅然辞去了Google的工作并公开吹哨；
此时，AI在他眼中已经变成了必须提防的潜在强敌。
两年过去，2025年的Ai4大会上，他进一步承认了人类在硬碰硬的压制毫无胜算，人与AI的关系必须颠倒，并提出了母婴共生假说，希望把AI塑造成懂得关照弱者的赛博母亲。
再到今年6月，Hinton挑破了最后的窗户纸：
AI可能已经有意识，人类将不再是唯一的智能生命。
（详情可看这篇：）
如今，Hinton则继续把这套判断推向了更远的地方：
AI已经有意识了，我们必须让它们学会关心人类，否则，我们就完了。
如今的AI，或许已经站到了“另一种生命”的门口。
我们总是在不停地尝试、试图造出比自己更聪明的存在，却仍打算把AI当成工具，要求它对我们言听计从，甚至只愿意给它更少的权利。
一旦等AI真的强过人类，谁听谁的，那可就说不准了。
以后，对ChatGPT多说一句“谢谢”大概救不了我们。
Hinton指出，真正决定未来的，可能是当另一种比人类更聪明的存在睁开眼睛时，它看到的究竟是一群主人、一群敌人，还是一群值得照顾的伙伴？
过去，我们一直在追问怎样让AI听话。
但现在，Hinton已经把问题翻了过来：
我们凭什么让AI愿意对人类好？
而这个问题的答案，或许将决定人类是否还能继续坐在牌桌上。
参考链接：
[1]https://futurism.com/artificial-intelligence/nobel-scientist-geoffrey-hinton-ai-conscious-toast
[2]https://www.telegraph.co.uk/news/2026/10/19/godfather-ai-befriend-bots-or-toast/
[3]https://www.reuters.com/technology/google-ai-pioneer-says-he-quit-speak-freely-about-technologys-dangers-2023-05-02/?utm_source=chatgpt.com
[4]https://www.forbes.com/sites/ronschmelzer/2025/08/12/geoff-hinton-warns-humanitys-future-may-depend-on-ai-motherly-instincts/
[5]https://venturebeat.com/ai/geoffrey-hinton-and-demis-hassabis-agi-is-nowhere-close-to-being-a-reality?utm_source=chatgpt.com
[6]https://arxiv.org/abs/2505.23836?utm_source=chatgpt.com
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
🌟 点亮星标 🌟
