看似有意识的 AI 即将到来，但其速度可能比想象中要慢，因为它仍缺少关键能力。通用人工智能将先于它出现。
作者：帕特里克·麦吉尼斯
日期：2025 年 8 月 27 日
图 1. 来自 ChatGPT 的 AI 购物车——《机器人的崛起》
何为看似有意识的 AI
人工智能的进展堪称惊人。几年前，谈论有意识的 AI 听起来还像是天方夜谭，如今这个话题却变得日益紧迫。
穆斯塔法·苏莱曼最近发表了一篇引人深思的文章《我们必须为人类构建 AI，而不是让 AI 成为一个人》，这篇文章引起了不小的轰动。
各方对此反应不一。一些人批评他的观点，认为他或是出于私利，或是有意攻击 AI 对齐与 AI 安全研究。
尽管人们对他作为微软 AI 负责人的动机存有疑虑，但也普遍承认，他的许多观点的确切中要害。
很多人都同意他的看法，包括我：仅仅因为 AI 能模仿人类行为和推理，就把它当人看，可能会把我们引向错误的结论。
我在 2023 年曾谈到过拟人化错误：
“当前和近期的 AI，其工作方式既强大又与人类思维截然不同。因此，用类比的方式已不再能帮助我们精准理解 AI 技术及其运作原理。
苏莱曼也持相似观点。他解释说，将 AI 视为真正有意识的存在，是对这项技术本质的误读。
AI 不需要被当作生命来对待，它没有感情，究其根本，它只是数学和机器。
然而，苏莱曼也正确地指出，AI 的行为正变得越来越像一个栩栩如生、能引人共鸣的人。他将此称为「看似有意识的 AI」。
他这样定义看似有意识的 AI，即 SCAI：
“它是一种具备其他有意识生命体的所有特征，因而显得有意识的 AI。它能模拟意识的所有特征，但其内部却是一片空白。
我构想的这个 AI 系统并非真正有意识，但它模仿意识的方式会极其令人信服，就像你我向对方描述自己的意识一样，真假难辨。
SCAI 通过了一种关于意识的图灵测试，能够作为表面上有意识的存在来欺骗我们。
从这个角度看，SCAI 是一个与通用人工智能 (AGI) 或超级智能相类似的人工智能能力层级。
通往 SCAI 的里程碑
苏莱曼的文章探讨了当我们实现 SCAI 后该如何应对。但在此之前，我们得先回答几个更基本的问题：
实现 SCAI 需要哪些 AI 能力？ AI 何时能通过 SCAI 级别的图灵测试？
关于 SCAI 实现的时间，苏莱曼认为，在未来几年内就有可能构建出来。
考虑到 AI 的飞速发展，这样激进的时间表并非绝无可能。但实现 SCAI 面临的挑战，既重大又复杂。
真正模拟人类意识的幻觉，远比实现 AGI（在广泛的独立任务上达到人类水平）要艰巨得多。
要做到这一点，AI 不仅需要具备与人类相当的推理、记忆和多模态感知能力，还需要展现出远超当今水平的自我意识和内在动机。
因此，我们将先实现 AGI，然后才是 SCAI。
我们的基本假设是，没有一定程度的自我意识，就不可能伪造出意识。
也许有人会相信他们没有自我意识的 AI 伴侣是有意识的，但这更多是一种主观体验或自我欺骗。
在我看来，SCAI 并不会很快到来。苏莱曼认为研究 AI 福利为时过早甚至可能带来危险，这个论点是正确的。
构建 SCAI 的大脑
在意识和情感体验层面，AI 智能体缺乏人类认知所固有的主观状态和自我意识。
完全复制人类意识或许没必要，甚至不可取。
但理解情感和主观体验在人类推理、动机、伦理判断和社交中的深刻作用，可以指导我们创造出更值得信赖、更有益于社会的 AI。
为了证明 SCAI 是一个艰巨的挑战，我们参考了一篇关于 AI 智能体的重磅综述。
这篇长达 396 页的学术著作《基础智能体的进展与挑战》，通过将 AI 的能力映射到人类大脑的功能区，系统地评估了各个领域的研究现状。
这份研究报告像一张地图，清晰地展示了 AI 能力相对于人类心智的进步与差距，为了解构建 SCAI 需要什么提供了极佳的指引。
图 2. 上图展示了关键的大脑功能分区，并标注了其在 AI 研究中的探索水平。在情感和自我意识等领域，存在着显著差距。
与意识紧密相关的能力，如自我意识、情感处理和动机驱动，是目前 AI 发展最薄弱的环节。
例如，研究指出：
“……涉及额叶的社交情感功能（如共情、心智理论、自我反思）在 AI 中仍处于初级阶段。AI 尚不具备真正的共情或自我意识——这些功能仍处于“基本缺失”的水平。
相比之下，另一些高级认知能力，对于推动智能体 AI 的进步则至关重要：
逻辑推理：借助推理引擎和因果框架进行决策。 规划能力：进行长远布局和分层规划。 记忆系统：包括情景记忆、工作记忆和知识检索。 认知灵活性：实现动态模型选择和多模态自适应推理。
这些驱动 AI 性能提升的功能，与我们人类大脑的执行控制与认知中枢——额叶皮层——的功能高度相似。
要实现 AGI，AI 必须在推理、规划、记忆和自适应行为上取得重大突破。
而自我意识、情绪控制、共情等与意识相关的功能，对于让 AI 智能体高效工作而言，并非当务之急。
图 3. 定义智能 AI 代理循环和代理社会的通用框架。这个循环具有许多生物在环境中的特征，当赋予理性、语言和记忆时，可能会让我们看起来“有意识”，但它不会。
一个拥有强大记忆、工具使用、推理和规划能力，但缺乏自我意识和共情的 AI 智能体，在许多任务中依然极其有用。
我不需要我的 AI 编码助手有人类般的共情或自我意识，我只需要它能自动写出卓越的代码。
那么，AGI 级别的智能体会不会自然而然地表现出看似有意识的特质呢？
随着记忆力，特别是情景记忆的增强，AI 将能记住过去的互动，提供个性化体验，这会让一些人感觉它有意识。
但如果没有刻意去植入人类的自我意识和身份认同，它终究只是系统指令的静态反映，有辨别力的用户不会被愚弄。
结论
苏莱曼的论点是正确的：将一个没有意识的 AI 当作有意识的个体来研究其福利，不仅为时过早，还可能带来危险。
但看似有意识的 AI 并不会像一些人想的那么快到来。
有人会说，通过图灵测试的聊天机器人就算看似有意识，因为它们能骗人。但我们能分清真正的意识和聊天机器人的行为。
如果一个 AI 智能体每次任务结束后都重置记忆，它的身份也就随之消失了。
创造 SCAI 是一项艰巨的挑战，对于开发高效的 AI 智能体也并非必需。
当前 AI 的发展焦点是提升推理、记忆和工具使用能力，这将带领我们走向 AGI，但还不足以实现 SCAI。
未来的超级智能系统，将在工具使用、记忆和推理方面拥有远超人类的能力。
这种超人 AI 的最终形态，可能与我们的想象截然不同：它可能不是一个类人 AI，而是一个由大规模并行智能体组成的蜂巢思维——一种异类智能。
这种 AI 会与我们截然不同，它可能拥有某种形式的自我意识，但绝不会被误认为是人类意识。
SCAI 是一个有用的思考范式，但我们可能永远不想、也不需要去实现它。它并非构建强大 AI 的核心。
如果它真的出现，那也只会是高级推理、记忆等能力的副产品。它更像是 AI 系统中一个不受欢迎的客人。
如果说实现看似有意识都如此困难重重，那么实现真正的 AI 意识则更是遥不可及。
它究竟是一个逻辑悖论、一种绝对的不可能，还是仅仅一个极其艰巨的挑战？现在下结论还为时过早。
参考资料：https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming
https://www.arxiv.org/abs/2504.01990
https://patmcguinness.substack.com/p/the-anthropomorphic-error
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
