图灵得主Yoshua Bengio，开始警惕AI有意识了

机器之心报道

机器之心编辑部

设计出具有意识（conscious）的 AI 系统是否可行？一直以来，这个问题就存在分歧。

一些人认为意识是大脑特有的生物特性，这似乎排除了 AI 存在意识的可能性。另一些人则认为意识仅取决于算法对信息的操控，无论执行这些计算的系统是由神经元、芯片还是其他物理基底构成的，这种观点被称为计算功能主义（Computational functionalism）。

这些问题也引起了图灵得主 Yoshua Bengio 的注意，他和学生 Eric Elmoznino 在权威科学期刊 Science 上发文《Illusions of AI consciousness》，并给出了一些观点。

本文没有执着于给出关于 AI 是否存在意识的明确答案；而是探讨了两个相关问题：

第一个是，随着 AI 的不断改进，科学界和公众对 AI 具有意识的信念将如何演变？
另一个问题是，如果我们开始把未来的 AI 当作有意识的生命体看待，将会面临哪些风险？比如 AI 不服从人类命令，那么关闭 AI 有没有法律约束，毕竟那时的 AI 被看做一个生命体。

论文地址：https://www.science.org/doi/10.1126/science.adn4935
论文标题：Illusions of AI consciousness

如果 AI 有了类似人类的权利，社会规则该怎么定义？

一个社会如果开始将 AI 系统视为具备意识的存在，会带来怎样的影响？这样的社会可能倾向于赋予 AI 道德地位，甚至类似于人类的权利。无论这种做法是否正确，社会制度与法律框架都将不得不进行重大调整，而关于如何调整，也会引发一系列复杂问题。

例如，AI 系统不会像人类那样经历死亡。它们的软件和记忆可以被复制，从而无限期存续。而人类具有弱点以及有限的生命，这正是现代社会契约原则的基础。

此外，当一群 AI 共享信息、目标，并以协调方式行动时，我们可能很难再将 AI 看作一个独立个体；随着计算资源的增加，这样的 AI 群体可能无限扩张。

另一项风险是：如果法律体系开始承认 AI 拥有类似生命权、自由权和追求幸福权的权利，人类就可能与这些 AI 权利发生直接冲突。比如，为了人类安全，社会可能有必要关闭某一类 AI 系统，但如果该类系统依法拥有生存权，那么即便法律允许，实际操作的空间也会极度受限。

如今 AI 研究的发展轨迹，似乎正在推动社会迈向这样一个未来，科学界与公众有相当一部分人将会相信 AI 拥有意识。然而又不得不面对这样一个问题，我们尚未拥有足够的法律与伦理框架，来应对这些看似有意识的 AI。

但这种发展轨迹并非不可逆转。在我们更好地理解上述问题之前，人类完全有能力避免陷入这些高风险问题。我们可以选择只打造那些作为工具的 AI 系统，而非具有主观意识的智能体。

计算功能主义与意识指标

我们前面提到了计算功能主义（Computational functionalism），其对 AI 具有深远影响。随着该领域不断发展，AI 系统复现人类认知机制的能力逐渐增强，也可能实现意识所必需的那些功能。尽管科学未来有可能否定计算功能主义，并提出广受接受的替代理论，但在当前的科学语境中，该观点仍被视为合理，而 AI 意识的可能性也因此存在。

近年来神经科学的技术进展清楚地表明，意识状态具有可观察的神经特征，这些特征通常可以通过受试者自我报告。这为发展功能主义意识理论提供了依据。许多此类理论已获得大量实证支持，并可在 AI 判断中作为理论依据。

一项近期研究就采用了这一方法，为多个主流的功能主义意识理论提出了一系列指标。这些指标对应的是一套计算属性：若某一理论为真，则这些属性是系统拥有意识的必要且共同充分条件。值得注意的是，这些指标具体明确，可以在现代 AI 系统中评估其有无。

这种方法的核心观点是：如果我们认可这些理论的合理性，那么对于满足更多指标的 AI 系统，我们就应有更高的信心认为其具有意识。

AI 潜力无限

尽管已有大量 AI 模型被开发出来，目前尚无系统能完全满足任何一种主流意识理论的全部标准。然而，研究也指出：从根本上看，构建一个满足这些标准的系统没有不可逾越的障碍。

实际上，当代 AI 所具备的工具极为丰富。有研究表明，神经网络能够实现如注意力机制、递归结构、信息瓶颈、预测建模、世界建模、心智理论等计算组件，这些都被主流意识功能主义理论认为是核心组成部分。

随着 AI 的发展，有充分理由相信它会满足越来越多的意识指标。其中一个重要原因是：许多理论认为，意识在智能体中发挥着关键的功能作用。像推理、规划、高效获取新知识、信心校准、抽象思维等能力，在多个理论中都与意识密切相关。

因此，AI 研究者在面对这些难题时，常常会从意识理论中获得启发。

容易问题与难题之间的鸿沟

如果 AI 系统满足主要理论中的功能性要求，很多人可能会相信它具有意识，但仍有不少人持怀疑态度。

尤其在哲学界，一些人区分了所谓的意识的容易问题与意识的难题：

容易问题：识别在执行看似需要意识的任务时，大脑中活跃的区域；
难题：从功能或计算原则出发，解释主观体验本身。

这些怀疑，即解释鸿沟，主要来源于思想实验。但科学或许有潜力将其逐步解释清楚。

例如，注意力图式理论（Attention Schema Theory）认为：大脑会对自身的注意力机制构建一个内部模型，而这种内部模型就是我们所谓的主观意识。关键在于，这个内部模型中的信息不需要逻辑自洽，它更像是大脑为了自身运作而讲述的一个有用的故事，这个故事可能充满矛盾，也正是这些矛盾让我们产生了意识之谜的直觉。

对主观体验的功能主义解释？

人们通常认为自己的主观体验既丰富又有意义，但却无法被描述，不像自然现象那样可被客观阐释（例如，我们可以解释什么是重力，但却很难说清红色对我们来说意味着什么）。

尤其是不可言说性让人觉得，意识体验无法用信息与功能来解释。

一种理论认为，这种丰富性与不可言说性，以及意识的私密性与短暂性，可被观察到的神经动力学特征所解释：