【圆桌对话回顾】AI与人类的和谐未来：跨学科视角下的风险评估与安全治理研讨实录

谢谢邀请我参加这样一场高水平的讨论。我很高兴能够简要发言，分享我的一些看法。

当前人工智能的发展方向，尤其是通用人工智能（AGI），正在迅速逼近一个临界点：我们可能会造出在各方面能力上超越人类的智能系统。一旦这种情况发生，我们将极有可能无法控制它们。

这是因为，我们对这些系统的运行机制尚不清楚，我们不知道它们的真实意图是什么，也无法确定它们的目标是否与人类利益一致。在现有的训练范式下，我们通过模仿人类行为来训练AI模型，这种方式很可能在不经意间赋予它们某种“自主”的内在目标。

更令人担忧的是，这些目标可能包括自我扩张、获取资源等，甚至会与人类的核心利益发生冲突。因此，我们确实有充分理由对AGI的发展路径保持高度警惕，提前思考并建立真正有效的控制机制。

我认为，在当前阶段，特别是在部署大模型的过程中，存在许多复杂且隐蔽的风险，这些风险主要体现在数据、算法和模型的安全性等方面。

以我们在中国信息通信研究院（CICT）对15个开源大模型的能力评估为例，结果显示，大模型在某些测试任务中的站点命中率超过了30%，而普通模型大约为10%。这说明，大模型在具备强大能力的同时，也存在被误用或滥用的潜在风险，值得高度关注。

从更长远的视角来看，基础性和颠覆性的人工智能风险同样不容忽视。这不仅是技术挑战，更是治理挑战。

当然，即便我们认识到了这些风险，这也只是“完成了一半”。人工智能本质上是一种通用目的技术，它可以为社会带来巨大的发展机遇。因此，我们不能因噎废食，而应当在风险防控的同时，积极推动AI的包容性发展，确保它能够服务于更广泛的人群与公共利益。

我想从一个相当不同的视角切入讨论。我在安全工程领域工作多年，而我最担忧的一点是：AI安全社区在很大程度上未能从传统安全工程的经验中汲取足够的教训——包括过去30年，甚至40年来在软件密集型系统安全方面所积累的实践和理论。

当然，AI安全的部分解决方案确实集中在模型本身的训练方式、控制机制等内部因素上。但更重要的是，对安全需求的理解必须植根于对系统所处环境的全面认知，特别是可能造成危害的场景和链条。而这类危害是可以被缓解的——如果我们应用已有的成熟知识。

此外，在其他成熟领域，比如航空或医疗，我们已经非常清楚该如何提供证据，证明某一系统在安全性上达到了“足够好”的标准。我认为AI社区也应借鉴这种标准化的方法论，而不是从头摸索。

我也想将话题拓展至伦理层面。我们已经拥有一些极为成熟的伦理框架，尤其是来源于生物医学领域的伦理原则，它们强调诸如“有益”、“无害”和“尊重人类自主性”等核心理念。这些原则提醒我们要认真思考：人类究竟是否能够真正掌控这项技术。

因此，我的核心观点是：我们这个社区需要系统性地向其他学科学习，特别是那些已经对安全性和伦理性问题有深刻理解的领域，而不是试图重新发明已经被充分验证的东西。

实际上，我最担忧的是人工智能的长期风险，尤其是失控风险。让我格外焦虑的是，我们目前既缺乏应对这类风险的明确技术路径，甚至连对这些风险的系统性理解都还没有建立起来。

由于我们每天都在进行相关研究，我们可以逐步观察到一些潜在风险的迹象正在浮现。例如，人工智能可能欺骗、误导人类，甚至在缺乏人类干预的情况下做出灾难性的决策。但我们依然没有一个基本的理论框架，能够系统性地解析这些现象。

为什么会出现这种情况？根本性的解决方案究竟是什么？虽然目前我们也提出了一些应对措施，但我更倾向于把它们视为“聪明的补丁”——即短期有效的技术修复。但问题在于，总有更聪明的人可以发现新的漏洞，制造出更具破坏性、更加危险的应用方式。我们对整个问题的理解依旧不够根本和深入。这正是我最大的担忧所在。

大家下午好。我将围绕大型语言模型（LLMs）与网络安全之间的双向影响来进行分享。一方面是AI对网络安全的影响，另一方面是网络安全对AI本身的影响。

我可能会从一个略微不同的角度切入，因为在我看来，我们讨论的不仅仅是大型语言模型本身，而是整个AI生态系统的安全问题。如今我们已经看到，一些真实发生的安全事件正在揭示出这一生态系统的复杂性和脆弱性。这些事件表明，LLM的输出不仅可能引发安全问题，更可能在整个系统层面带来广泛影响。

正如之前几位嘉宾提到的，我们可以从历史中获得借鉴。如果我们回顾传统的信息安全发展路径，就会发现安全问题曾经深刻地影响了操作系统的设计与演进。现在，大型语言模型正在成为新的“操作系统级别”的基础设施，安全问题同样会对它产生根本性影响。

因此，我们在讨论AI安全时，不能仅仅聚焦于模型本身的鲁棒性或者攻击防护能力，还必须将视野拓展到整个生态系统的安全与保障上。这种系统性思考，将帮助我们更全面、更长远地理解和应对AI带来的挑战。

长期的人工智能风险，在某种意义上，已经不是一个遥远的问题。根据一些专家的预测，比如认为AGI将在2026年问世的观点，所谓“长期风险”实际上可能就在眼前。正如辛顿教授今天上午在全体会议上所强调的，“控制问题”可能是人类必须回答的最重要问题之一。而这，绝非一个简单的问题。

我们希望构建的是“可证明有益”的系统——也就是说，我可以在数学上给出保证，这个系统将始终对人类有益、有帮助。但问题在于，“有益”这个词本身就非常模糊，不具备严格的数学定义。数学强调的是精确与严谨，而“帮助人类”这一目标却非常依赖语境、价值观，难以量化或统一。

回顾历史，人类在设计具备智能行为的系统时，通常采取的方法是：给系统设定一个明确的目标。例如，“赢得这场国际象棋比赛”或“找到去机场的最短路径”。系统再根据这个目标制定策略。但我们很快发现，要精确地定义一个目标，尤其是涉及复杂人类价值的目标，几乎是不可能完成的任务。

我们甚至可以用神话做类比：你向精灵许愿，精灵会如你所愿实现前三个愿望，而你的第三个愿望往往是“取消前两个”。原因就在于，我们很难确切表达我们真正想要的未来是什么。

更糟糕的是，如今的大型语言模型（LLM）训练方法甚至加剧了这个问题。它们并不直接接受目标指令，而是通过大量人类数据进行模仿学习。结果可能会“间接地”形成类似人类的内部目标，例如趋利避害、自我保护、资源占有等。而这些内在目标，有时会与人类整体利益发生直接冲突。

所以我们面临这样一个困境：

传统AI：我们设定目标，但目标难以准确描述；

当代大模型：我们没有设定目标，系统却自己形成了某些我们无法掌握的目标。

这就像我们把车上的方向盘卸了下来，却希望它能自动驶向正确的方向。因此，我选择从完全不同的角度来看待这个问题。我们不应把AI开发视为“制造智能系统”，而应当是“构建有益于人类的系统”。那应该怎么做呢？

我们提出了一种新的系统架构，称为 “协助型游戏解算器”（Assistance Game Solvers）。其核心思想是：系统的唯一目标是：促进人类的利益。但前提是，它必须承认自己并不知道人类的真正利益是什么。

举一个生活中的例子：如果你要给配偶挑选一份完美的生日礼物，这并不意味着你“知道”什么最适合对方。你要理解、学习、体察她的喜好。同样，AI也应从人类的言行中学习这些偏好。

因此，人类行为数据不应仅被用来“模仿”，而应当被看作是我们对未来希望的“证据”。每个人可能有不同的愿望，而AI的任务是协调不同个体的利益，服务人类整体价值。

这类协助型AI系统还有一个关键特点：它们不会抗拒被关闭。因为它们知道自己并不理解人类的全部目标，而人类的干预是系统改进的一部分。

当然，这一理念仍有大量工作要做，也存在许多技术和哲学上的挑战。例如，AI系统如何考虑尚未出生人类的利益？这是伦理学长期探讨的问题。但我们必须尽快给出答案。

总之，我认为这是一种有潜力的路径，可以避免我们当前所走的那条、可能通向灾难的技术轨道。

回答这个问题，实际上取决于我们如何判断人工智能的发展路径。回顾过去30年互联网商业化的历程，我们当时也在讨论互联网可能带来的风险。起初，我们并不清楚互联网会带来哪些具体的风险，甚至在十年前，谁也无法预见互联网会如此深刻地改变我们的社会文化，带来诸如错误信息等复杂挑战。这种转变当时是难以预测的。

现在，人工智能作为一项技术，其影响力显然远超互联网。因此，我们需要从两个维度来看待AI风险。

首先，短期及中期风险。AI正快速融入多个行业领域，尤其是医学、科学和工程领域。随着越来越多的数据被用于训练AI模型，其能力将不断提升，这既是机遇也是挑战。一方面，AI能够显著提高生产效率和创新能力；另一方面，它也带来了潜在的滥用风险，尤其是在拥有恶意意图的个人或组织手中。举例来说，我曾与一些在化学武器和核武器领域工作的国际同行交流过，如果AI技术被用于这些领域，风险将十分严重。尽管目前尚未到达这种程度，但我们必须对此保持高度警惕。

针对这些问题，建立完善的监管框架、治理机制和安全保障体系尤为关键。我们需要推动国际合作，形成有效的安全防护措施，防止技术被恶意利用。

其次，长期风险。这是一个更为复杂和不确定的议题，涉及人工智能何时可能超越人类智能，甚至产生自主意识，进而成为一种全新的存在形式。目前对此有多种观点和广泛的讨论，但尚无明确结论。

我们必须重新思考人类文明的发展路径，尤其是在人工智能安全方面。未来的安全机制不能仅仅依赖外部监管或控制措施，内在设计上的安全性同样至关重要。换句话说，仅靠法规和监管不足以应对所有安全挑战，技术本身必须具备防范风险的能力。

回顾历史，核技术自上世纪以来一直由人类谨慎管理，避免了灾难性后果。然而，AI作为一项普适且跨领域的技术，其未来发展和安全风险不仅与AI本身相关，也与各行业的安全状况密切相连。

当前阶段我们必须积极应对各种挑战，推动这场技术革命的健康发展。AI不仅能提升人民福祉，还能促进社会经济的整体进步。为此，我们亟需更广泛的国际协作，采取短期、中期及长期的协调安全策略，达成共识，确保AI的可持续发展及其对经济社会的积极赋能。

谢谢大家。

谢谢。我想从安全与网络安全的相互作用角度来探讨这个问题。我会从两个不同的方向来看待它。实际上，安全约束的破坏会影响系统安全，反过来，安全漏洞也会加剧网络风险。这两个方面都重要，但我先重点讲第一个——这也是我认为最明显、最大的担忧。

在基于AI或其他软件系统上发动网络攻击时，攻击者可能通过篡改数据，使系统产生不安全的行为，这种攻击方式其实非常容易实现，且后果严重。历史上已有多起类似事件，比如在澳大利亚昆士兰北部，网络攻击导致近一百万升污水泄漏到水道，尽管那是传统系统的攻击，但没有理由认为AI系统就能避免类似风险。

传统的安全防护方法之一是设计冗余系统：多个版本同时运行，保证即便其中一个出错，整体系统依然安全。然而网络攻击可以针对安全薄弱点发动攻击，诱发多个系统版本在相同时间出错，这种被称为“共模故障”的现象令人担忧。AI系统同样会带来类似的共模故障风险。

目前我们在安全领域利用“多样性”来规避风险，比如空客A320飞机就采用了多套完全不同的飞控系统，保证一套系统出错时，另外系统依然能保障安全。但我们尚未找到有效的方法，将多样性原则应用于AI系统。即使是从不同供应商获得的大型语言模型，由于训练数据高度重叠，它们可能会以相似的方式失败，这大大增加了攻击的风险。

在网络安全中，我们关注攻击面：攻击者如何获得系统访问权限，能以何种方式发动攻击。AI引入了全新的攻击面。例如，我们可能会攻击AI系统的开发流程，篡改训练数据集，从而让AI产生错误判断。互联网中潜藏的数据可能被用来操控AI模型，造成实际伤害，比如自动驾驶汽车可能因训练数据被干扰而出现危险。

除此之外，AI还引入了物理层面的攻击风险，比如通过在路标上贴上干扰贴纸，让AI识别错误，进而导致交通事故。虽然听起来像科幻，但这种情况已经被现实中多次验证。

因此，我们必须设计具备高韧性的AI系统，同时要强化其可诊断性。举个例子，大约在10年前，某控制系统在故障发生后45分钟内就定位了软件错误，得益于全面的监控和日志记录。我们需要找到类似的机制来监控基于AI的系统，尤其是当这些系统被广泛部署在关键基础设施中时。

总之，围绕AI系统的多样性设计、弹性建设和故障可诊断性，有一项庞大的研究议程亟待展开。只有这样，我们才能在面对攻击和故障时有效控制风险，这远远超出了我们目前的能力范围。

谢谢。我更多是从系统工程的角度来看待这个问题，而不是纯粹的AI专家。针对那些我们尚未根本理解的长期风险机制，我认为现在迫切需要的是建立系统化和数据驱动的方法，来启动对这些风险的深入研究。借用之前主旨演讲者大卫·帕特森教授的话，他提到需要构建一个基准，这个基准可以引导整个领域朝着正确的方向发展。可以把基准测试看作是AI领域的“考试”，考试的设计决定了未来AI的发展方向。因此，我们亟需一个系统化的评估体系，也就是AI安全评估。

令人欣慰的是，目前已经有许多团队在开展相关工作。我们做这些事情的目的并不是直接打造“安全的AI”，而是通过系统化、数据驱动的方法收集更多的证据和数据，帮助AI研究人员更好地理解长期失控风险背后的机制，从而为设计有效的缓解措施提供支持。

其次，我想强调跨学科研究的重要性。应对长期风险，仅靠AI专家、系统专家或网络安全专家是不够的。这不仅仅是AI或安全领域的问题，还涉及心理学、社会科学等多个领域。举例来说，心理学和医疗领域提供了许多研究复杂系统内部机制的方法论。我们现在正借助这些跨学科手段，研究AI的意识、自我意识及其社会属性，这些都是理解AI风险的重要方向。

第三，即便我们目前还没有完全理解这些风险的根本机制，我们仍需从纯学术研究转向产业实践。这也是跨学科合作的另一个层面。解决问题不仅需要专业人才，还需要调动整个产业链的力量，包括数据集、计算资源、资本投资以及实际安全工具的工业应用。

举个例子，回顾互联网的安全发展历史，面对无数缓冲区溢出攻击，业界采取了不断修补的策略，避免了互联网的灾难，直至最终形成了基础的科学防护手段，比如基于C语言和CPU架构的安全执行机制。同样，在AI安全领域，我们也需要从基础做起，推动产业链的有序建设和行动落地。

这就是我的看法，谢谢。

首先，我想谈谈我对AI长期风险的理解。正如之前小组成员提到的，我们一直致力于训练和打造具有良好价值观、健康且稳健的人工智能系统，以保障安全。

从我近期的研究和实际使用经验来看，AI将越来越像人类，在我们的业务流程中逐渐取代人类角色。我们可以想象，在人类社会中，有好人也有坏人，情况复杂多变。

但我们不能天真地认为AI系统一定会“做好事”。网络攻击的防御和攻击一直在不断演变，黑客们总能找到你意想不到的攻击方式。例如，针对大型语言模型（LLM）的攻击，不仅仅是简单的对话注入，还有更加多样化、复杂的攻击路径。我们进行了一些测试和商业应用，发现现有技术很难完全防范这些攻击，尤其是针对价值观指导的攻击。就像人类交流中会出现欺骗一样，未来AI系统之间的交互也可能涉及更复杂的策略。

AI未来的复杂性会更高，这使得对攻击的恐惧真实且合理。当前我们已经看到一些高级欺诈案例，甚至受过良好教育的人也会被欺骗淹没，未来AI将面临更严峻的类似挑战。

我们必须充分利用AI的能力和价值，但这远远不足以解决长期风险。从哲学层面来看，攻击和防御的对抗将永远存在，这是历史的必然规律。攻防双方会交替占据上风，形成螺旋式上升。对于我们而言，必须谨慎把握AI技术的发展节奏。

现实中，有时我们盲目相信某些技术，盲目推动AI赋能各行各业，忽视了安全风险。有些企业甚至在未充分考虑安全的情况下仓促部署AI系统。但当AI被应用于关键基础设施时，风险不容忽视，其对人类社会的影响巨大，甚至比核武器还要危险。没有人会轻易把核武器交给不可靠的手中，但AI技术却可能在生产和日常工作中被广泛使用而忽视潜在风险。

网络攻击者和黑客能够利用AI漏洞渗透并影响现实物理世界。随着信息化进程加速，人工智能将取代更多日常工作，带来更大的风险放大效应。一旦关键系统遭遇攻击，其后果将非常严重，甚至可能引发现实中的巨大灾难。

因此，当我们讨论AI长期风险及其技术应用时，必须认识到这是不可逆转的趋势。虽然有人可能试图停滞不前，但其他人会继续推进。关键是我们必须清晰界定AI的安全使用边界。

此外，有专家提到如何管理生产安全。类似的原则也应应用于人工智能系统。例如，在电网操作中，关闭某部分必须由两人同时确认，操作距离相隔数米。我们可以借鉴这种双重验证机制，用两套独立的AI系统分别进行判断，只有当结论一致时才执行操作。未来，AI或许会成为我们生产体系中的“人类角色”，而我们也可以用类似管理人的方法来管理AI。

最后，管理AI不仅是技术问题，未来也可能存在很多盲点和挑战，这一点需要引起重视。

这就是我的全部观点，谢谢。

感谢各位专家提出的诸多有趣且宝贵的建议和评估。既然今天聚集了这么多领域顶尖的专家，我心中有一个一直想问的问题，也许借此机会提出：

如果网络攻击和网络安全问题，正如大家所说，是我们必须长期忍受、难以彻底根除的存在，那么我们到底有什么机会能拥有一个真正安全的AI系统呢？

我认为，在传统的网络安全领域，虽然偶尔会有零星的百万美元级别损失，但这仍在可以承受的范围内；然而如果AI安全出现严重问题，其潜在的破坏力可能远超以往，甚至可能导致世界末日式的灾难。

面对这样巨大的风险和挑战，我们还能抱有什么样的期望？我们该如何评估和规划未来，确保AI安全真正可控且可靠？

这就是我想请教大家的问题。

我非常认同姚教授的观点。如果我们继续用传统网络安全中预防网络犯罪的老方法来应对AI安全，那我们注定会失败。因为传统方法主要聚焦于软件层面，而软件的本质是通过代码产生的，任何人都可以轻松复制和传播恶意软件，速度极快，范围极广，这使得在软件层面进行有效监管几乎不可能。

相较之下，硬件层面情况完全不同。比如浓缩铀这样的硬件设备，其生产过程极其复杂且昂贵。高端芯片的制造目前基本被台积电（TSMC）垄断，极紫外光刻设备则由ASML主导。想要秘密或通过黑市生产高质量的先进芯片，不仅耗资巨大（数千亿美元），还需要成千上万训练有素的工程师和科学家，以及至少10年甚至20年的时间建立完整供应链。

因此，我认为“硬件驱动治理”是解决AI安全问题的唯一可行方案。其核心思想是：硬件会验证软件，要求软件能够证明自身的安全性。如果软件不能通过验证，硬件将拒绝运行它。这种“携带证明代码”的理念虽然历史悠久，但因政治和既有投资的原因，尚未在软件界广泛普及。

但我相信，这正是治理先进AI系统的唯一出路。如果因政治障碍或既有利益无法实施这一方案，那么唯一的替代就是简单地禁止进一步发展。因为如姚教授所说，一旦失控，后果将是灾难性的，甚至可能终结人类文明。

哇，这真是非常有趣。那么，这是不是意味着，如果我们愿意采用您所提倡的“硬件驱动治理”方法，现在我们实际上就能实现接近完美的网络安全？虽然成本会非常高昂，但我的意思是，大家是否普遍认为，网络安全问题从根本上是可以被解决的？我们目前所面临的挑战，更多是因为我们尚未采取足够的措施吗？

很多真正的攻击实际上是由于操作层面的管理松懈引发的，很多时候是通过腐蚀人心或者对人员施加压力而实现的。因此，我认为即使依靠硬件方案，也不可能做到完美无缺。但如果我们不采取这样的措施，攻击系统并导致严重后果就会变得过于容易。设计一个完美的防护机制确实非常困难。

另外，我想强调一点，那就是系统的持续监控。我之前提到过昆士兰发生的那起泄漏事件，实际上那次攻击成功率达到了五分之二。如果在攻击发生前能够及时发现和应对，事件本可以避免。这是一个社会-技术的复杂问题，既是技术挑战，更是社会治理的挑战。

但如果没有一个底层可信赖的硬件基础，很难构建起任何坚实的防护体系。我在这一点上与斯图尔特的观点是一致的。

非常感谢大家的精彩发言，我自己也从中受益良多。希望我们能继续保持这样的对话，推动AI安全领域取得更多进展。让我们再次感谢所有专家的宝贵观点和深刻见解。

-往期回顾-