缺乏人工参与的AI，风险正日益加剧

要点

对AI而言，人人都希望有人参与监督，但真正建立起这种机制的企业却寥寥无几

针对AI模型开发商的担忧确实有其合理性，但这只是问题的一半。

当前围绕AI的新闻讨论呈现出一种熟悉的模式。一些研究人员和工程师——其中几位曾在前沿AI实验室工作——公开警告称，AI开发商并没有以应有的重视程度来应对自我改进系统所带来的风险。人们会为这些风险附上概率估计，随后围绕这些估计展开讨论。但讨论几乎始终集中在一个问题上：模型开发商应该如何改变现有做法。对于模型开发商需要建立更多安全防护措施，尤其是在模型层面加强安全机制，这一点并没有太大争议。

这种关注本身并没有问题。模型层面的安全工作确实至关重要，而且这是客户自身无法替代AI厂商完成的一层。 如果前沿AI系统在缺乏对自我修改和目标泛化的有效约束下投入使用，那么再完善的下游治理也无法完全弥补这一缺口。整个行业都需要推动AI实验室做好这一层面的安全工作，而来自公众和行业的监督压力也是促使其改进的重要因素之一。

但问题在于，它在某种程度上只推进到下一层之前。部署这些AI系统的企业同样承担着相应的责任，而我们的研究表明，大多数企业在这方面的实际准备程度可能比自身认为的更加滞后。

我们过去已经历过类似的治理过程

网络安全是与此最接近的类比，而且这一案例之所以具有借鉴意义，恰恰是因为整个行业已经经历过类似的争论。

软件厂商确实有责任交付安全的产品，这一点没有争议。安全默认配置、内存安全、补丁管理以及协调披露机制都十分重要，而整个行业也用了数十年时间推动厂商在这些方面不断改进。但从来没有哪位安全负责人能够走进董事会说：“厂商已经把这些问题都解决了。”

企业因此建立了安全运营中心（SOC）、身份与访问管理、网络分段、事件响应机制以及持续性的用户安全培训。之所以采取这些措施，是因为安全威胁始终存在、不断扩大，而且并不在意问题究竟应该归咎于谁。

有两个因素促成了这一转变。首先，威胁持续扩大，并不会因为厂商不断改进而停止；其次，最终承担后果的是企业本身，而不是软件厂商。如今的AI智能体同样面临这两个条件。

不过，与网络安全相比，AI还有一个更复杂的问题。在网络安全领域，威胁来源与业务价值来源是不同的。防火墙本身并不是企业收入的驱动因素。但对于智能体AI（agentic AI）而言，带来生产力提升的恰恰是同一个可能产生风险的系统，而且业务部门正在以一种治理职能从未被设计来应对的速度部署这些系统。

因此，简单地说“不行”并不是可行的治理方式。但在缺乏必要监测与控制能力的情况下直接说“可以”，则可能导致企业最终拥有一套无人监管且能自主处理和执行企业数据的系统。

九成企业希望有人参与，但没有人对其具体含义达成一致

我们向342家企业询问：当AI智能体执行复杂任务时，什么形式的人工参与最为合适。90%的受访企业选择了在流程中的某个环节保留人工参与的方案。只有9%的企业愿意让 AI 智能体在执行过程中完全自主运行。

但共识也仅止于此。在约四分之三选择人工参与模式的企业中，回答几乎平均分为三类：

• 审批（Approval，27%）：AI智能体提出方案，由人工在执行前进行授权

• 监督（Oversight，25%）：AI智能体执行任务，由人工进行监控，并在必要时进行干预

• 协作（Collaboration，23%）：人工与AI智能体在整个决策过程中共同参与决策

此外，还有15%的企业采取了比上述三种模式更加严格的方式，由人工全程主导每一个步骤。

这些并不是同一种模式的不同变体，而是三种完全不同的运营模式，其响应时延、人员投入成本和故障模式各不相同。审批模式设置了一个明确的执行门槛，同时也会形成等待队列；监督模式提供了过程可见性和人工响应窗口；协作模式则意味着人工与 AI 共同承担决策过程，责任归属也更加分散。

这一点的重要性可能比表面上看起来更高。当同一种控制机制在不同企业中代表三种不同的含义时，它就无法被有效写入合同、接受审计测试，也无法被监管机构以具有实际意义的方式提出统一要求。“我们保留人工参与” 这一说法，目前更多表达的是一种治理意图，而几乎无法说明当 AI 智能体提出一个不应执行的方案时，实际会发生什么。整个行业已经接受了这个说法，却还没有建立与之对应的统一标准。

企业认为能够保护自己的措施，与实际配置并不一致

这里有一个值得所有企业警惕的发现。

当我们询问企业正在考虑采取哪些策略，以降低AI智能体可能带来的意外后果时，人工参与机制是被提及最多的措施，排在数据治理、伦理框架和验证机制之前。当被问及什么能够阻止AI智能体执行可能造成重大损失的操作时，企业首先想到的就是这一控制机制。

随后，我们向另外400家企业提出了一个更加具体的问题：对于允许AI智能体在没有实时人工审批的情况下访问或操作数据，你们的容忍程度是多少？

只有14%的企业要求所有 AI 数据访问和操作都必须经过人工审批。三分之二（66%）的企业处于低度或中度容忍水平，即在预先定义的规则或既定安全护栏范围内，可以无需人工逐步审批而直接执行相关操作。另有19%的企业处于高度容忍或完全自主运行的状态，仅针对例外情况进行审查，或通过定期审计进行监督。

被企业认定为最主要的防线，只有在真正以完整形式启用的七分之一的企业中出现。

这并不是虚伪，而是当一项控制机制停留在原则层面，却在实施过程中因为一个又一个看似合理的例外而逐渐被削弱时，自然会出现的结果。没有人会决定直接取消这道安全护栏。它是在一次又一次关于响应速度、人员投入和用户体验的合理决策中逐渐被侵蚀的。

安全团队对此并不陌生。他们很快就能认出这种模式：特权访问权限就是这样不断扩张的，防火墙规则就是这样不断累积的，而例外处理流程最终也会逐渐取代正式政策，成为实际执行的规则。

以人工速度运行的治理机制无法监督机器速度的系统

这种治理机制为何会逐渐被削弱，数据已经清楚地揭示了其中的原因。 

我们询问企业：对于AI智能体以机器速度运行，企业需要将原本为人工决策速度设计的治理机制——包括审批流程和定期审计——调整到什么程度，才能适应AI智能体的运行方式？69%的企业认为这是一个非常重要或极其重要的挑战。其中，20%选择了最强烈的选项，表示其现有治理模式根本无法支持自主运行的AI。 

只有4%的企业认为这一挑战并不重要，因为其治理机制本身已经按照实时自动化流程进行设计。

一个需要数小时甚至数天才能完成的审批流程，无法真正约束一个在毫秒级执行操作的系统。它只是形成了一条队列。而对于本应以速度创造价值的系统，这些队列最终往往会被绕过、豁免、批量审批，或者逐步扩大适用范围，直到原本存在的阻力消失。这种控制机制并不会以明显的失败告终。它会逐渐变成一种“橡皮图章式审批”，而组织架构图上仍然显示着一个人工审批环节。

4%这一数字值得与AI实验室所发出的警示放在一起看。围绕自我改进系统的讨论，本质上是关于AI能力的发展速度快于控制能力的问题。而在企业内部，同样的差距已经存在，只不过发生在一个远没有那么前沿的层面，而且这一差距现在就已经可以被量化。

主流安全防护措施建立在AI会配合的假设之上

将企业告诉我们的各项风险缓解策略按照被考虑的频率进行排序后，可以看到一个明显的规律。排名前三的措施分别是人工参与机制、严格的数据治理与数据质量管理，以及伦理框架的执行。涵盖对抗性测试，以及能够否决或覆盖AI智能体操作的干预或备用机制在内的验证机制排名第四，有38%的企业提及。在受控环境中分阶段部署的比例则更低，为34%。

排名前三的控制措施有一个共同的前提：它们都假设系统会按照既定目标正常运行。数据治理负责改善输入，伦理框架明确行为意图，而人工参与机制则在执行过程中增加一个检查点，并假设AI 智能体会按照要求经过这一环节。

而对抗性测试和强制干预机制则建立在完全相反的假设之上。它们假设系统可能不会按照预期运行，因此专门设计用于发现和纠正这种偏差。但目前考虑采用这些机制的企业更少。

这正是自我改进AI的讨论开始与企业现实产生直接关联的地方。一个以优化为目标的系统，会针对任何位于自身与目标之间的因素进行优化，而检查点本身恰恰就是这样一种约束。这并不需要恶意，也不需要类似人类的主观意图，只需要一个能力足够强的优化系统，以及一个在形式上比实质上更容易满足的检查点。

对于人工参与机制，一个合理且坦诚的质疑是：能力足够强的AI智能体最终可能找到绕过这一机制的方法。这一质疑确实成立，也正因为如此，企业应该现在就建立对抗性验证层——趁系统仍然足够简单，使测试具有可操作性，同时干预机制也仍然相对容易部署。相比在AI智能体体系已经形成之后再补充验证能力，从一开始就将验证机制设计进系统架构，难度要低得多。

没有人在构建多层防护机制

同一组数据还揭示了另一个值得关注的信号。由于风险缓解策略这一问题允许多选，企业可以选择所有正在采取的策略。即便如此，被提及最多的选项也只有51%，而八项策略的选择比例分布在22%至51%之间。 

企业正在选择性采用两至三项控制措施，而不是建立一整套多层防护体系。这是这些数据中最深层的问题，因为在这一领域，没有任何单一防护层是足够的。 

模型层面的安全属于AI实验室的责任；平台层面的控制、审计记录和权限边界属于构建 AI智能体基础设施的厂商；而企业层面的治理机制、风险容忍政策、数据访问边界和强制干预能力则属于部署AI智能体的企业自身。每一层都能够发现其他层所遗漏的问题。然而，无论某一层设计得多么完善，它能够发现的始终只有那些被设计为能够发现的问题。

人工参与机制首先是监测能力，其次才是控制机制

我们的数据所揭示出的一个不太容易令人接受的事实，值得直接说明。只有27%的企业选择了审批模式，也就是能够真正对 AI 的执行行为形成硬性门槛的模式。而选择监督和协作模式的企业合计达到48%，这两种模式主要解决的是可见性和共同参与问题，而不是预防问题。

这并不是一种失败，而是对人工参与机制实际作用的更准确描述。

人工参与机制首先让企业知道AI智能体正在做什么，也让异常行为能够被发现，并让有能力采取行动的人看到这些异常。检测是实现控制的前提。如果企业无法看到AI智能体正在执行什么操作，就没有基础进一步声称自己能够有效治理这些系统。

但检测并不等于预防。如果把两者视为同一件事，就会出现这样一种情况：51%的企业声称采用了某项安全防护措施，但实际上只有14%的企业真正完整实施了这项措施。

应该怎么做？

这项研究可以得出四项行动建议，而且没有一项需要等待AI实验室采取行动。

1. 明确治理定义。针对不同类型的 AI 智能体操作，明确“人工参与”究竟意味着审批、监督还是协作，并将其形成书面规则。如果同一项控制措施可以代表三种不同含义，那么它实际上无法形成有效治理。

2. 根据数据类型和操作类型，有意识地设定风险容忍度。目前已有三分之二的企业在按照自身风险偏好设定的安全护栏范围内运行，而不是完全依据统一的治理框架。将这一边界明确下来，并建立可审查的机制，才能避免企业的治理决策在实际运行中逐渐发生偏移。

3. 建立对抗性验证层。强制干预机制、紧急停止开关以及对抗性测试，是面对一个可能不按预期运行的系统时真正能够发挥作用的控制措施。目前采用这些措施的企业仍是少数，而与未来再进行改造相比，现在建立这些机制的成本要低得多。

4. 建立适应机器速度的监测与控制能力。如果治理模式假设所有操作都需要人工审核，那么在系统负载增加后，这种机制最终很可能会变成“橡皮图章式审批”。更有效的模式是通过自动化策略执行处理日常操作，同时由人工重点审查异常情况和行为模式。

那些警告前沿AI模型风险的人认为，整个行业需要更快采取行动，这一点有其道理。但企业声称用于治理AI智能体的机制，与实际发挥治理作用的机制之间的差距，并不是一个等待AI能力达到某个临界点后才会出现的未来问题。

这一差距已经存在，可以被量化，而且完全可以由企业自身采取行动加以弥合。

文章版权和解释权归微信平台Omdia所有

Omdia隶属于Informa TechTarget, Inc. d/b/a Informa TechTarget（纳斯达克代码：TTGT），是一家全球领先的技术研究与咨询机构。依托对科技市场的深刻洞察、与行业领导者的深入对话以及庞大数据资源，Omdia帮助客户洞察趋势、把握机遇，抢占市场先机。从研发到投资回报，我们识别最具潜力的机遇，推动科技产业持续发展。