
简介
在开放环境中自动化水平的不断提高,以及人工智能在认知网络物理系统(CPS)中的应用,正导致系统保障过程中出现新兴的复杂性和随之而来的不确定性。例如,在自动驾驶领域,对于 ISO 21448 标准所描述的与预期功能安全(SOTIF)相关的一类风险,情况尤其如此。在本文中,我们对复杂性和不确定性如何影响认知网络物理系统的安全保障进行了定义。基于对这一问题的结构化理解,我们提出了一种管理此类系统安全性以及对其部署和运营进行监管的方法,目的是在存在残余不确定性的情况下维持可接受的残余风险水平,并力求降低这些残余不确定性。该方法包括指导有关系统部署和持续保障决策的标准。用于构建这些提议的模型包含了对影响复杂性及由此产生的不确定性(进而影响风险)的因素的因果分析,这些因素涵盖了技术与人为因素、管理与运营以及治理与监管三个层面。这些原则普遍适用于广泛的认知网络物理系统类别。然而,在本文中,我们重点关注它们在自动驾驶系统中的应用。
1、引言
网络物理系统(CPS)由与其他技术系统、人类操作者和用户相互作用的物理组件构成。我们将认知网络物理系统定义为通过利用感知、推理、部署前后的学习以及自适应等能力来实现更高自动化水平的系统。机器学习(ML)的最新进展和系统互连性的不断提高,使认知网络物理系统能够实现比以往更高的自动化水平。这些能力不仅使得决策责任从人类操作者向技术系统的转移不断增加,还使系统能够在日益开放和动态的环境中运行。
认知网络物理系统的此类进步实例可见于医疗设备、智能交通管理系统、自动驾驶车辆(乘用车、配送无人机、火车)和机器人等领域。这些系统旨在提高安全性和社会福祉,在某些情况下还旨在产生有益的环境影响。事实上,我们认识到需要确保此类系统具有可证明的安全性、伦理性和可持续性。这些系统故障所涉及的风险可能会造成严重后果,既包括系统直接造成的伤害,也包括破坏公众对该技术的信任,从而减缓具有巨大社会潜力的技术的部署。
我们认识到,对于此类复杂的社会技术系统,仅通过技术措施无法实现可容忍的残余风险水平。人为因素、安全管理流程、操作程序以及监管约束都有助于实现社会可接受且持续的安全水平。对自动驾驶系统在开发过程中和批量生产中发生的致命事故的分析,证实了开发和运营安全的自动驾驶系统所涉及的新兴风险。具体而言,技术与人为因素、管理与运营以及治理与监管层面之间的相互作用直接导致或能够显著降低残余风险。这些层面的定义如下:
· 技术与人为因素层面:该层面涵盖技术设计和安全分析过程,这些过程使系统能够在可接受的风险水平下部署,然后进行主动监控,以确保能够识别和纠正预测情况与实际情况之间的偏差(或 “差距”)。这一层面不仅包括技术组件,还包括用户、操作者和其他利益相关者在社会技术环境中执行的任务。
· 管理与运营层面:该层面协调供应链中涉及系统设计、运营和维护的任务,支持跨企业边界的风险管理和明智的设计权衡,控制知识产权和责任,管理供应链动态以及为长期存在且不断发展的系统提供长期的机构知识。
· 监管与治理层面:该层面包括通过直接监管、所谓的软法方法或国家和国际标准形式的共识,激励和要求组织遵守最佳实践。在制定这些标准和法规时,政府和当局代表了社会对与这些系统相关的可接受残余风险水平的期望。
在本文中,我们提及自动化水平的不断提高,而非使用 “自主性” 一词,因为 “自主性” 一词根据不同的解释,可能意味着系统能够独立调整其目标。我们认为,即使当前技术可行,此类系统在开放和动态环境中也不应被考虑用于与安全相关的任务,因为在确保不断演变的系统目标的适当性方面存在额外的不确定性层面。此外,我们仅考虑在明确定义的环境中(也称为 “窄人工智能”)将机器学习用于特定任务。
我们认识到,“完全自主” 一词可用于描述某些领域中已存在的系统,例如铁路和工厂,但这些环境相对可控或受限。实际上,这是一个范围问题,随着系统设计和保障能力的进步,能够安全管理的复杂性和开放性水平将会发生变化。
2、定义与现有技术水平
2.1 系统复杂性、语义鸿沟与不确定性
在文献中,我们描述了高度自动驾驶系统中出现的复杂性如何导致特定的安全保障挑战,需要跨技术与人为因素、管理与运营以及治理与监管层面(为简洁起见,以下简称 TMG 层面)采用整体方法,以达到适当的残余风险水平。该论文中讨论的通用框架最初由同一作者在一项研究中定义,该研究旨在为导致复杂系统中具有安全影响的系统性(而非机械性)故障的因素提供概念清晰度。我们对复杂系统的定义如下:
· 复杂系统:一种系统,其表现出的行为是系统各部分之间相互作用的涌现特性,仅根据对各部分及其相互作用的了解无法预测这些行为。
从复杂性科学的角度来看,复杂系统具有许多特征,包括半渗透性系统边界、非线性行为、模式转换与临界点以及自组织。这些特性破坏了典型的安全保障方法,这些方法基于明确定义的(即已知的)系统行为模型和单个组件故障导致的故障原因。上述复杂性定义的核心是对涌现行为原因的未知,这与不确定性概念密切相关,如下定义所示:
· 不确定性:与相关系统完全确定性知识这一无法实现的理想状态的任何偏离。
不确定性通常分为随机不确定性和认知不确定性,这两种不确定性都与本文中描述的概念相关。随机不确定性指的是系统所观察到的物理世界属性的固有随机性。认知或系统性不确定性指的是用于解释物理世界的模型的不足。不确定性会以多种方式影响系统的安全性:
· 规范不确定性:包括对适当安全验收标准的定义和完整性的不确定性,以及在目标操作设计域内可合理预期出现的所有情况下对可接受的安全行为定义的不确定性。这还包括能否提出足够完整的运行设计域模型,该模型可用于推理训练和测试数据的完整性。规范不确定性还可能源于管理与运营以及监管与治理层面上相互竞争的目标和利益相关者对可容忍残余风险的特定定义。此外,规范不确定性可能导致与系统的伦理 / 社会可接受行为相关的未解决问题。无法完整规范系统(安全)行为这一问题,本质上与语义鸿沟和复杂系统的涌现特性都有关联。
· 技术不确定性:与系统技术组件性能的不可预测性有关。技术不确定性的一个例子是系统对先前未见过的事件的不可预测反应,或者尽管输入条件相似但系统行为存在差异。这可能包括系统的环境模型或自身内部状态模型与实际情况不匹配,传感能力的局限性(包括在恶劣天气条件下的性能下降),基于机器学习的功能缺乏鲁棒性,执行器性能的变化以及安全漏洞的影响。不确定性的累积效应可能在整个系统中传播,并可能导致看似非确定性的行为或突然的模式变化(临界点)。技术不确定性还可能包括对技术系统本身性能的建模或测量的不精确性。这反过来可能导致对系统保障论据缺乏信心(保障不确定性)。
· 保障不确定性:保障不确定性与对系统关键(安全)属性的保障论据的完整性和 / 或有效性缺乏了解有关。这可能包括对支持保障论据的证据的有效性(包括统计置信度)以及推理链本身缺乏信心。保障不确定性还可能包括对保障论据整体主张的有效性和适当性缺乏信心(例如,由于规范不确定性),以及随着系统、其环境和社会对可容忍残余风险的期望的演变,该论据的持续有效性。
此外,不确定性可以根据以下定量和定性属性来定义:
· 统计不确定性:可以用统计术语表示,例如概率分布或使用信念理论(定量)。
· 场景不确定性:只能使用场景来描述,场景是系统和 / 或其环境的合理状态,在这些状态中,知识缺乏且没有任何统计支持(定性)。
· 本体论不确定性:被定义为模型对系统相关方面的完全无知。这意味着系统及其保障活动没有意识到其知识受到不确定性的影响,从而导致所谓的未知未知。因此,解决这种程度的不确定性需要系统外部的措施。
在文献中,作者讨论了语义鸿沟的概念及其对自动化水平不断提高的系统和机器学习应用的安全保障的影响。语义鸿沟定义如下:
· 语义鸿沟:预期功能与规定功能之间的差距 —— 当系统上含蓄且模糊的意图比系统明确且具体的规定更多样化时。
语义鸿沟是系统复杂性的直接结果,可能由以下原因引起:
· 系统运行环境的复杂性和不可预测性;
· 系统本身以及系统与其他技术系统和人类参与者(包括操作者、用户和旁观者)相互作用的复杂性和不可预测性;
· 决策责任从人类参与者向系统的转移不断增加,因为系统不会像人类那样对决策具有语义和上下文理解。
语义鸿沟可能导致系统规范中的不确定性,进而导致责任、道德责任和保障方面的差距。
系统复杂性、不确定性与语义鸿沟
系统、其环境和要完成的任务的复杂性导致在系统开发过程中无法预测的涌现行为。为了在存在这些潜在不确定性的情况下实现可容忍的残余风险水平,必须承认它们的来源以及我们测量和限制它们的能力。我们在充分考虑这些因素方面的局限性导致保障过程中的不确定性。这反过来导致我们对系统的期望与我们规范、进而最终确保和保障足够详细的安全行为以实现可容忍的残余风险水平的能力之间存在语义鸿沟。
2.2 鲁棒性、韧性与系统性失效
如 ISO 26262《道路车辆功能安全》等标准所定义的,实现电气和电子系统功能安全的传统方法已经解决了与系统中组件失效相关的风险问题。通常,使用系统模型和组件故障影响分析来评估与安全相关的系统失效的可能性,以便通过其他系统措施消除或减轻潜在的关键失效。这种安全方法可以被视为提高系统的鲁棒性,即系统应对可预见事件的能力。然而,尽管在故障建模和系统内失效传播分析方面有所改进,但这种方法仍有其局限性。
汽车安全标准 ISO 21448涉及预期功能安全(SOTIF),定义为不存在由于预期功能或其实现的功能不足导致的危险所带来的不合理风险。这种安全模型解决的安全危险原因范围比单个组件故障更广,包括传感器和机器学习组件的性能限制以及人类操作者可预见的误用。特别是,该标准明确涉及上述规范和技术不确定性导致的危险。ISO 21448 使用 “触发条件” 一词来描述揭示系统不足的场景或输入条件。它区分了已知触发条件和未知触发条件,已知触发条件与系统已充分理解的局限性相关,可以采取缓解措施;未知触发条件则描述了系统尚未可知的、可能导致危害的局限性(见上述本体论不确定性的定义)。该标准中概述的安全保障方法的目标是迭代发现已知触发事件,并在系统设计中处理这些事件或限制系统的操作条件,同时提供论据证明残余的未知触发条件(在操作中遇到的)的可能性足够低。
然而,该标准没有提供如何设置定量风险接受标准的指导,以确定部署环境中是否存在足够少的未知触发条件,并且对于复杂的认知网络物理系统,残余的未知触发条件不可避免地会存在。特别是,由环境和系统状态的复杂相互作用构成的那部分触发条件,即使不是不可能,也很难预测(与更明显的触发条件如光照对相机传感器的影响不同)。因此,构建对已知的系统行为模型(和已知触发条件)具有鲁棒性的系统,包括有界的统计不确定性,可能是不够的。为了解决涌现的复杂性和语义鸿沟问题,我们需要设计具有韧性的系统,即能够承受不可预见的或至少是未预见的(由于上述本体论不确定性)情况的系统。
然而,我们通过定义系统性失效的概念,对安全标准所考虑的失效模型提出以下扩展:
· 系统性失效:由系统组件的行为之间的相互作用以及与环境的相互作用或对环境的依赖导致的系统级失效。
此外,我们不将系统性失效的原因或影响限制在技术问题上,而是考虑所有三个 TMG 层面的失效。例如,在技术与人为因素层面,技术系统或人类驾驶员可能由于对环境或系统状态的模型不完整,或者各自的模型不一致,而做出不适当或相互冲突的决策。在监管与治理层面,系统性失效可能导致不适当的部署决策或不适当的监管控制,从而由于新技术而增加社会风险。
鲁棒性、韧性与系统性失效
当前的道路车辆安全标准迭代侧重于通过提高系统对组件失效和已知触发条件下系统安全不足的鲁棒性来降低风险。ISO 21448 通过论证未知触发条件的发生概率或其导致危险行为的概率足够低来解决未知触发条件的问题。这种论证本身会受到显著的保障不确定性的影响,并且随着系统复杂性的增加而增加。然而,为了在存在系统性故障可能性的情况下保持安全,系统必须设计得对未知触发条件和涌现行为具有韧性。
2.3 系统理论安全分析
如前所述,机械的安全分析方法似乎不足以预测由于涌现的复杂性导致的系统系统性故障所带来的危害。现有安全标准如 ISO 26262推荐的传统安全分析方法,无论是归纳法如失效模式与影响分析(FMEA) 还是演绎法如故障树分析(FTA),都不再足够。Leveson 的系统理论事故方法与过程(STAMP)和系统理论过程分析(STPA)方法建立在社会技术系统理论之上。在这种方法中,系统被视为具有多个层次结构,每个层次都有自己的控制结构,控制和约束在层次之间垂直运作。因此,危险事件被视为控制失效。这种层次化的系统理论方法似乎非常适合建模 TMG 模型中各层面之间的相互作用,例如治理层面的不适当控制行动导致不适当的安全管理实践。
近年来,STPA 在汽车行业引起了越来越多的关注,并已应用于自动驾驶系统的安全分析。ISO 21448 中可以找到将该技术应用于高速公路自动驾驶应用的示例。然而,据我们所知,这些分析迄今为止主要集中在技术视角及其与系统人类操作者的相互作用,而不是 TMG 层面之间的相互作用。Monkhouse 等人最近提出了一种增强的车辆控制模型,该模型模拟了驾驶员和自动驾驶系统之间的共享认知负荷。这可能为评估技术系统和人类操作者之间的潜在涌现行为提供有价值的基础(例如,在自动驾驶系统达到其技术限制的关键交接条件下)。
尽管如此,理解或预测系统性失效的能力本质上受到用于表示系统及其与环境相互作用的模型的限制。Rasmussen引入了一个基于社会技术系统六个层次(政府、监管机构 / 协会、公司、管理层、员工、工作)的行为变化分析的风险管理框架。这种方法启发了文献中描述的分层框架,在该框架中,我们用复杂系统的技术考虑扩展了工作层面,并提供了分析导致系统复杂性的因素如何导致系统性失效的因果结构。功能共振分析方法(FRAM)引入了功能共振的概念,以补充因果模型或理论。功能共振可以被视为功能之间(不一定是有意的)的相互作用或依赖关系。该方法基于这样一个前提:任务性能的正常变化可能导致意外和不期望的后果。该分析基于系统内相互作用的动态性质,结合通过输入 / 输出、控制、约束、资源和时间关系耦合的任务的性能变化。这种类型的分析可能会为整合上述不确定性概念以检测和分析系统组件之间(包括跨 TMG 层面)的依赖关系的方法提供启发。
系统理论安全分析
当前安全标准提出的安全分析方法(例如 FMEA、FTA、STPA)似乎不足以捕捉和分析自动驾驶系统更广泛背景下发生的微妙相互作用。特别是,规范、技术和保障不确定性的影响以及跨 TMG 层面的垂直因果关系目前尚未被建模。然而,其中一些方法,包括 STPA 和 FRAM,似乎有潜力扩展以涵盖这些方面(见第 6 节关于未来工作的讨论)
2.4 自适应系统
有人提议在基于软件的系统中引入能够自适应的自我管理机制(也称为动态安全管理),作为提高韧性的一种手段。该领域研究的一个共同目标是通过使系统能够基于运行时的风险模型适应运行环境或系统自身能力的变化,在保持足够安全水平的同时最大化系统的效用。这些方法通常采用如图 1 所示的抽象系统架构。

图1:自适应系统模型
主要控制任务由被管理系统执行。管理系统负责监控被管理系统和环境的属性,这些属性可用于确定当前的风险概念,并基于某种决策模型实施必要的系统调整,以确保风险保持在可容忍水平以下。最近的研究开始认识到在设计自适应、自主系统时各种复杂性的影响。
这些方法通常解决技术不确定性,而不涉及规范或保障不确定性相关问题,并且在动态自适应行为的保障方面带来了一些挑战。这些挑战包括:
· 持续保障:尽管系统和环境发生了调整,仍需持续生成系统满足要求的证据;
· 组合保障:避免在每次变更时都重新验证整个系统(或新兴的系统之系统);
· 反馈与监控:定义有效的观察点,以确定保障过程何时失效。
在第 5 节中,我们将自适应系统的这一模型扩展到研究持续保障和监管的方法。
自适应系统
自适应系统有潜力提高系统对运行环境变化、系统能力变化或未知触发事件的韧性。将这种架构范式应用于复杂的高度自动驾驶系统的主要挑战在于,难以确定管理系统的模型,该模型能够识别被管理系统自身未察觉的潜在危害情况,并能够确定适当的调整行动。由于语义鸿沟问题,这种模型的定义变得更加复杂。此外,自适应系统范式的应用需要持续的保障活动,以避免随着时间的推移增加保障不确定性,并理想地减少这些不确定性,从而逐步提高安全性和安全保障水平。
3、不确定性下的安全保障
第 2 节中提出的定义阐明了涌现的系统复杂性、不确定性与系统性故障风险之间的关系。在开放环境中自动化水平的提高,加上机器学习等技术的引入,可能会放大这种复杂性的根本原因,从而增加由此产生的不确定性。因此,我们断言,如果不解决这些问题,像全自动驾驶这样的系统将无法实现可容忍的残余风险水平。确保复杂的、高度自动化的认知网络物理系统安全的挑战可以表述如下:
确保复杂的、高度自动化的认知网络物理系统的安全
在系统涌现的复杂性、部署环境和系统本身随时间的变化以及由此产生的规范、技术和保障不确定性的情况下,持续确保可接受的残余风险水平。
应对这一挑战不仅需要采取措施确保系统的鲁棒性,还需要确保系统对危险的不可预见和无法预见原因的韧性。这些措施必须在设计阶段和整个运营过程中跨三个 TMG 层面进行协调,目标是不断降低残余不确定性水平,从而降低与系统性故障相关的风险。
设计阶段的措施可以通过消除或限制复杂性原因及其在系统中导致的不确定性的影响,来降低系统性失效的风险。运营期间的措施可以通过减少不确定性的影响,从而降低系统性失效的可能性,来缓解系统中的残余风险。图 2 总结了上述不同因素之间的因果关系。

图 2:更安全的复杂系统框架
这些观察引出了以下用于保障高度自动化、复杂的认知网络物理系统安全的原则:
1. 应系统分析所有 TMG 层面上复杂性的潜在原因及其导致的不确定性,以便估算与系统相关的风险,并确定设计和运营期间的适当缓解措施。
2. 应论证在设计阶段跨所有 TMG 层面应用了有效的安全措施,以应对与系统复杂性相关的风险。这些措施应同时针对系统的鲁棒性和韧性。
· 系统应能抵御系统内已知的技术不确定性来源。这应包括统计不确定性和场景不确定性。
· 系统的设计应能抵御先前未知的触发条件,以及与其他系统和旁观者相互作用产生的涌现行为的影响。
3. 应论证在运营期间跨所有 TMG 层面应用了有效的安全措施,以应对与系统复杂性相关的残余风险。这些措施应包括:
· 运营期间采取措施,以发现先前未知的触发条件,并更好地估算残余未知触发条件的概率。这将包括完善运行设计域的模型,以及理解系统的(涌现)行为。
· 制定程序,以便在部署期间发现复杂性、不确定性和风险的先前未知来源时,能够持续调整系统、其保障方法和运行程序。
在以下各节中,我们首先定义一套标准,用于论证此类系统的安全部署,因此主要关注设计阶段的措施。然后,我们重点关注持续的安全保障和监管方法,重点是为了确保系统在动态环境中安全运行,需要在 TMG 的三个层面上进行的观察(运行阶段的措施)。
4、安全部署的条件
政府政策制定者和监管机构在确定新型技术和系统部署的条件时,应考虑复杂性的增长以及系统范围和能力的趋势。在这样做时,监管结构和安全管理系统本身也应从涌现的复杂性和由此产生的不确定性的角度进行考虑,这些复杂性和不确定性可能导致系统治理和管理中的系统性失效。本节重点关注监管决策,以允许部署与安全相关的高度自动化的认知网络物理系统,这些系统表现出前面概述的复杂性和不确定性特性。
4.1 理解系统性任务复杂性
为了管理与认知网络物理系统相关的涌现风险,制造商、运营商和监管机构必须考虑系统要实现的功能的固有系统性任务复杂性以及系统运行的环境。系统性任务复杂性可以定义为在为系统的目标功能和运行场景建模所有必要方面和参数时实现完整性的难度。它也可以解释为系统中预期的残余规范、技术和保障不确定性水平的度量。因此,在部署决策中应从多个维度考虑系统性任务复杂性,包括:
· 对系统安全行为和可容忍残余风险的适当规范进行定义的信心程度;
· 系统内固有的技术不确定性水平;
· 尽管存在规范和技术不确定性,但理解系统行为的能力,特别是在关键情况下或事件分析期间;
· 评估系统能力的可用方法和技术的适当性,包括对残余不确定性的评估;
· 在运行期间监控系统行为的能力,包括通过观察领先指标预测由于涌现行为导致的风险增加的能力。
系统性任务复杂性的定义意味着,某些自动化任务本质上比其他任务更容易以高置信度进行保障。例如,交通标志识别和限速警告功能导致的规范、技术和保障不确定性水平低于城市自动驾驶中的行人识别。
基于对系统性任务复杂性和不确定性的预期表现的分析,应在系统工程过程中定义适当的措施,包括持续保障,以避免系统性失效的存在(见图 3)。在这样的过程中,系统性任务复杂性的分析将用于指导和完善系统理论安全分析,以更全面地覆盖系统性系统失效的潜在根本原因。
监管机构可以要求在审批过程中评估系统性任务复杂性对系统安全性的影响。这种评估可以根据一套固定的标准进行,还应包括对现有标准适用性的分析。评估系统性任务复杂性的一套明确标准的建立和接受是未来研究的主题,然而,预计此类措施必然是相对的而非绝对的,允许与成熟和理解的系统类别进行比较。此外,通用用例及其影响系统性任务复杂性的因素的标准化定义将支持跨制造商和系统的一致评估。

图 3:复杂性感知系统工程
4.2 可容忍残余风险的定义
随着系统变得更加复杂,风险和可接受安全水平的概念变得更难定义。由于以下原因,诸如随时间发生的失效等单个风险度量将不再足够:
· 难以以足够的置信度证明达到了目标;
· 运行设计域的高度异质性,使得从测试期间的观察进行外推变得更加困难;
· 不可避免地,操作域的这种异质性将导致需要特定场景的风险接受标准,这些标准应在行业内标准化,同时标准化确认这些标准已得到满足的方法;
· 系统环境和系统本身的不断演变性质,意味着历史数据是未来风险的不可靠指标。
因此,诸如每单位时间事故数等单个定量风险度量失去了相关性,必须辅以能够在设计期间直接准确预测并在运行期间观察到的其他定量和定性风险度量。
在系统部署时,应定义一套风险指标。这些指标可以基于类似系统或具有较低自动化水平的先前系统的性能(遵循 GAMAB 原则)。应定义安全容忍区间和证据所需的统计置信度,并与基线进行比较。该基线风险水平应在系统运行监控期间用作参考(见下一节),并且随着更多观察结果的产生,应对这些值的统计置信度进行细化。对这些观察结果的评估还必须考虑观察结果所来自的场景的异质性,以避免在进行统计外推时得出错误结论。
车辆运营商应与制造商协调建立并管理观察这些风险指标的监控方案。这些指标的一个子集应文给负责的监管机构并由其定期评估(见下一节)。这需要明确数据收集和分析的责任(例如,在监管机构、运营商和制造商之间)。
数据伦理与创新中心(CDEI)针对自动驾驶提出了初步解决这些问题的方法,反映了来自伦理和负责任创新以及系统、安全和软件工程的见解。该文概述了一个监管框架,基于法律委员会的工作,将运营前验收的责任与在役监控和风险评估分开。它提议编制初始部署的安全档案,提交给相关监管机构批准。安全档案将基于安全和伦理运行概念(SEOC)的定义,其中包括遵守相关道路规则、避免责任碰撞、减轻 “无责任” 碰撞的风险、处理进入和退出运行设计域(ODD)等。通过这种方式,制造商将提出其实现安全的方式(SEOC,必须符合相关法规),并提供证据证明其已做到这一点。这部分方法本质上是技术性的,不直接涉及残余风险。
各种机构,例如欧盟,已经提到了诸如 10-7 / 小时危害事件的目标(见欧盟关于自动驾驶的法规)。在提议的 CDEI 框架中,根据这些目标评估性能的责任在于使用中的监管机构,该机构将监控和分析来自运营的数据。如果观察到的事故率超过目标,监管机构将采取行动。例如,如果问题与一个制造商有关,那么监管机构可能会与他们合作以减少保障不确定性,从而推动对该特定车辆或 ADS 的改进。或者,如果发现的问题同样影响所有车型,那么监管机构可能会得出结论,这是由于规范不确定性造成的,并寻求相应地更新技术规范和法规。这提供了一种通过 TMG 模型中治理层面的活动来识别和管理残余风险的方法,然后驱动管理层面的适当行动,导致任务和技术层面的变化(可能是车辆的技术变化),避免在部署前评估残余风险的问题。
4.3 法规和标准的可用性与适用性
自动驾驶功能的法规和标准
联合国欧洲经济委员会(UNECE)自动驾驶和联网车辆工作组一直在编写关于 ADS 安全方面的协调法规建议。其中包括关于自动车道保持系统(ALKS)的联合国法规以及关于自动驾驶车辆的功能要求(FRAV),两者都定义了一些高级安全要求。这些要求包括需要在所有情况下安全管理动态驾驶任务,包括识别运行设计域(ODD)的边界,同时遵守运营所在国的所有相关交通规则(在这方面,与提议的 CDEI 方法有很强的相似性)。此外,系统必须识别失效场景并能够恢复到 fallback 功能。该法规还包含关于与人类操作者交互的要求,包括在可预见的误用时。2022 年 8 月,欧盟发布了关于全自动驾驶车辆型式批准的法规 2022/1426,其中包含类似的要求。型式批准是根据一套固定的场景和相关测试、对 ADS 安全概念的评估、虚拟验证工具链的可信度评估以及在役文的先决条件来定义的。
除了已建立的安全标准 ISO 26262 和 ISO 21448 之外,目前正在制定一些标准和相关规范,以解决自动驾驶的安全相关方面。这些包括最小风险 maneuver(ISO/AWI 23793-1)的定义、基于场景的安全评估框架(ISO 34502)、ADS 的设计、验证和确认方面(ISO/AWI TS 5083)、驾驶员监控和系统交互的人体工程学方面(ISO/AWI TS 5283)以及安全伦理考虑(BS ISO 39003)。这些标准中的许多仍在制定中,某些方面需要比当前可用的更具体的指导(例如,对紧急车辆的标准反应行为)。
人工智能的法规和标准
欧盟委员会也已开始着手制定一套与可信人工智能相关的指令和相关倡议。最初,2019 年提出了一套可信人工智能伦理指南。该指南将可信人工智能定义为:合法、符合伦理以及从技术和社会角度具有鲁棒性,理想情况下这三个组成部分应协同工作。文中确定了可信人工智能的以下要求:
1. 人类代理和监督;
2. 技术鲁棒性和安全性;
3. 隐私和数据治理;
4. 透明度;
5. 多样性、非歧视性和公平性;
6. 环境和社会福祉;
7. 问责制。
该指南建议通过技术和非技术手段满足这些要求。文表明,现有的(安全)法规可能足以确保满足可信性要求,但如果需要保护社会免受不利影响,则应考虑新的法规。此外,建议采用敏捷方法来持续评估法规的有效性并对其进行调整。提议了治理框架(内部和外部),以确保对人工智能可信性的伦理方面负责。建议采用基于风险和多利益相关方的方法,包括适当考虑基于人工智能的决策中的自主性水平。还建议引入可追溯性和文要求,以便在部署前对系统进行审计,并进行持续监督。
使用人工智能技术的 ADS 将属于欧盟人工智能指令的 “高” 风险类别,要求它们满足可信人工智能的强制性横向要求,并在投放市场前进行评估。然而,对于已有监管方法的行业,该指令不适用,汽车行业就属于这一类别。在这些行业采用、实施或委托法规时,仍应考虑这些要求。因此,可以预期将尝试使基于人工智能的自动驾驶的法规和标准与欧盟人工智能指令的要求保持一致。我们发现,可信人工智能要求与可用于评估这些要求的一套技术标准之间存在差距,这需要由特定行业的法规和标准来解决。CDEI 文可能构成与此类 ADS 相关的法规的起点。
欧盟委员会目前正在起草实施决定,提议在欧洲层面(CEN、CENELEC 和 ETSI)定义一些标准,包括人工智能系统的风险管理和鲁棒性标准。然而,与此同时,国际层面已经开始采取行动来填补这一 “标准化差距”。例如,在 ISO/IEC JTC1/SC42 “人工智能” 联合委员会内,已经制定或正在制定一些标准和技术文,包括 ISO/IEC TR 5469“人工智能 —— 功能安全和人工智能系统”。在道路车辆领域,目前正在制定行业特定的公开可用规范 ISO PAS 8800“道路车辆 —— 安全和人工智能”。预计这些标准将在一定程度上缩小当前社会和监管期望与确保安全的技术标准之间的差距。然而,仍需要进一步的指导,以提供用例和人工智能技术特定的指导,以实施这些文件。特别是,对可信性要求的行业和功能特定的操作化对于确定系统的可接受残余风险水平至关重要。此外,目前尚不清楚这些标准是否将充分解决上述涌现复杂性和韧性的主题,也不清楚它们是否足够涵盖开发和运营。
适用标准的可用性作为部署的先决条件
上述标准和法规要求的技术和组织(即就安全管理系统和操作程序而言)实施方法仍不明确,需要解决本文第 2 节和第 3 节概述的开放挑战。已发布的国际安全标准代表了行业对 “常规” 系统最新技术水平的共识。因此,出于责任目的,它们可以被视为最佳实践的下限,因此可以合理预期符合该标准。通过为合格评定和认证提供基础,标准可以支持监管并确保独立的信任水平。
新技术的开发和应用与标准的制定之间不可避免地存在滞后。标准的制定需要时间,并且由于国际共识建设的过程,为了取得实际进展,标准的范围必须有限。这意味着对于制造商、供应商和运营商而言,标准要么缺失、正在制定中,要么缺乏足够的细节来提供关于实现和维护高度自动驾驶安全性的具体指导。我们目前不知道现有或正在制定的标准充分解决了上述定义的涌现复杂性和韧性主题,也没有足够涵盖开发和运营。
一般而言,适当安全标准的存在和合规性目前是将认知网络物理系统引入安全相关应用的关键障碍。这使得监管机构在定义高度自动驾驶系统发布条件时面临以下选择:
1. 应用现有标准。这可能包括限制功能的范围或运行环境,以便可以使用现有标准评估系统的整体安全性。然后,可以将第三方根据标准进行的评估定义为安全部署的先决条件。
2.应用等效措施。尽管可能还没有直接适用的、具有技术特定指导的标准,但可以论证采取了措施以实现等效水平的残余风险,以现有标准的原则和目标为导向。制定基于结果的标准,定义系统应满足的一套标准以及对相关证据和论证策略的期望,可以在引入新技术时提供更大的灵活性。这将导致系统的制造商和运营商有责任提供安全保障论据,证明系统足够安全,尽管标准中缺乏细节。然而,仍将存在残余的保障不确定性水平,并且在定义部署条件和持续监控系统运行性能时需要对此进行补偿。CDEI提出的方法旨在提供这样一个框架。
3. 禁止无法证明达到与现有标准或最新技术水平相当的安全水平的系统。如果不存在标准且未证明实现可容忍残余风险的替代方法,则应禁止此类系统。这可能看起来很严厉,并且与支持负责任创新的愿望相悖,但这是监管机构的一种选择,或许是最终的制裁手段。
5、持续安全保障与监管
如上所述,部署决策应基于确保持续安全的运行程序的可用性。受第 2 节中描述的自适应系统模型的启发,在本节中,我们描述了一个用于系统、其运行程序、安全管理系统和监管方法的持续监控和调整的模型,以便持续管理由于系统中涌现的复杂性和不确定性导致的系统性失效风险。

图 4:持续安全保障的层次结构
该模型的目标是基于对复杂性和不确定性以及 SCS 框架(见第 2 节)中描述的相关控制的系统视图,确保对涌现风险的韧性。这包括在 TMG 框架的所有三个层面定义多个观察点。理想情况下,这些观察点将基于观察到的系统及其环境属性,作为领先指标(而非滞后指标)。请注意,可能并不总是能够预先确定领先指标,在许多情况下,它们可能只能通过事后分析系统行为来确定(用于系统的未来迭代)。基于这些观察,例如上述 10-7/h 危害事件,以及相关的决策模型,应选择对技术系统、安全管理系统、运行程序和监管方法的调整,以降低与系统相关的残余风险。
该模型可应用于所有三个 TMG 层面,并且需要在每个层面回答以下问题:
· 需要哪些观察点来监控涌现的技术、运行和监管风险?这包括识别安全性能偏差的领先指标。
· 如何将安全性能与预测水平或可接受变化水平的真正偏差与将自我纠正的瞬态效应区分开来?
· 如何开发有效的、基于证据的风险管理模型,用于解释观察结果和选择适当的措施 —— 尽管系统存在固有的复杂性、不确定性和加剧因素?当然,这与诸如尽可能降低风险(ALARP)、GAMAB 或其他标准(如最小内生死亡率(MEM))等概念相关联。
我们定义了动态安全管理、持续保障和持续监管的层次结构,如图 4 所述。在每个层面,都将应用上述原则,并且必须回答相同的基本问题。
5.1 技术与人为因素层面
在技术和人为因素层面,可以通过系统中的技术措施(见第 2.4 节关于自适应系统)或通过人类监督和干预来提高对技术不确定性的韧性,例如(残余 SOTIF 未知触发事件)。
从图 4 的表示中可以清楚地看出,监控 / 管理系统组件与人类操作者之间可能存在冲突的行动。因此,系统允许的自适应量应与人类监督者监控残余风险的能力和有效性相平衡。例如,在可能进行密切的人类监督并且期望人类操作者能够及时检测和覆盖异常行为以避免事故的情况下(例如,对于车道保持系统),应仔细设计系统中的自适应量,以避免模式混淆和人类与技术监督者之间的冲突。对于自动化水平较高、可能无法进行较少直接人类监督的情况,可能允许甚至需要更多的自适应,或者至少是动态安全管理,以确保必要的韧性。
有人可能会认为,语义鸿沟限制了为复杂任务开发真正自适应系统的能力。具体而言,如果能够定义系统应进行调整的条件,那么被管理系统本身应被设计为应对这些条件并做出相应反应,从而消除对管理系统的需求。然而,这导致系统对充分理解的情况和风险具有鲁棒性,但对不可预见的情况或风险不具有韧性。
因此,自适应技术系统利用管理系统,该管理系统采用与被管理系统根本不同的模型,并且能够进行被管理系统无法进行的观察和相关推断。换句话说,对技术控制系统自身无法推理的因素具有韧性(从控制系统的角度来看)。这一分析似乎表明,将机器学习技术应用于开发此类先进的管理系统模型将很有前景。第 6 节进一步探讨了与这一想法相关的研究挑战。
尽管存在这些限制,但应用这种架构范式可能仍有一些令人信服的论据。例如,在管理系统和被管理系统之间可以论证异构冗余的情况下,或者在被管理系统的重点是优化功能的效用,而管理系统的重点是优化安全性,在被管理系统无法保证适当的残余风险水平的情况下施加功能限制。虽然这些论据对于系统故障的基本模型可能是有效的,但对于系统性故障和具有高度不确定性的复杂系统,将难以摆脱语义鸿沟的困境。
在这一层面,一个重要的考虑因素是如何分析人类和系统之间(可能动态的)功能分配的安全性,特别是当系统自主执行功能时。一种方法是扩展经典的任务模型,以确定功能在何处执行 —— 人类、系统或共享 —— 以及每个参与者的责任 —— 执行(做)、监控、确保安全。这种方法已在自动驾驶和 ADS 的背景下采用。这种增强的模型允许安全分析师评估共享控制的影响,同时考虑每个参与者的能力和局限性。这种方法已被用于扩展 STPA,增加了由于功能分配的复杂性可能出现的故障的额外提示,并因此提供了比 STPA 背后的控制理论模型更丰富的人机交互评估。
对自主功能的人类控制的更直接考虑区分了操作控制和必须在设计时实施的控制,并考虑了每种情况下的保障需求。除其他外,它确定了有效人类控制的条件,特别是对于超驰功能,包括对系统局限性、行动后果和相关伦理问题的理解,以及足够的时间来评估这些问题。为了有效,需要有独立于系统的信息来源(知识),以及人类执行行动的能力,特别是如果由于系统的自主性水平,该行动现在很少执行。此外,还需要考虑人类行为的各个方面,例如可能导致操作者未经适当评估就 “批准” 系统建议的认知偏差(确认偏差)。应在安全案例中评估这些因素,并提供适当的论据和证据,证明人机系统是可接受的安全的。
5.2 管理与运营层面
保障案例提供了一个令人信服且有效的论据,证明基于其运行环境的一套假设,关于系统安全性的一组主张对于特定功能是合理的。然而,由于本文其他地方描述的复杂性和不确定性的影响,在部署到目标领域之前构建一个在一段时间内保持有效的令人信服的论据的能力是有限的。
持续保障和动态安全档案的工作已经解决了这个问题。这些概念通过提供证据收集和保障论据重新评估的框架,解决了保障论据的剩余和新兴不足,以及由此产生的潜在残余风险。当系统随时间进行调整(例如,由于软件更新)、操作环境系统演变或先前未发现的风险因素(例如,未知的 SOTIF 触发条件)出现时,这可能是必要的。持续保障与在技术层面应用的动态安全管理措施之间的根本区别在于,持续保障的目标是识别安全论证本身的(新兴)缺陷,而不是在技术层面维持服务的可靠性。然而,这两个概念密切相关,如图 4 所示,在技术层面对系统进行的调整必须在保障论据中进行评估。
类似于技术层面的动态安全管理和自适应系统概念,持续保障需要能够对环境、技术系统以及安全管理系统(包括安全档案)和运行程序的有效性进行观察的模型。我们将这些观察称为运行风险指标,包括以下几类属性:
· 环境属性:这些属性可用于确认或否定保障案例中对环境所做的假设。这可以包括预期事件的类型(包括先前未知的触发条件)及其分布(例如,检测分布偏移)。这些观察与技术层面管理系统所做的观察不同,因为管理系统的自动调整无法或尚未定义,因此需要在管理和运营层面采取措施,以维持可接受的风险水平,抵消环境的涌现属性。应当指出,其中一些观察可能是通过技术系统本身的过滤器进行的(例如,黑盒记录或类似机制)。
· 人类用户与系统之间的交互:这些观察可用于推断与人类用户和技术系统之间的交互相关的属性,这些属性可能提供涌现风险的指标。例如,人类操作者干预频率的增加可能表明操作条件的变化和风险的增加。
· 技术系统及其行为的属性:这些观察提供了技术系统本身状态的详细信息。这可以包括技术不确定性的车载评估(例如,机器学习组件中的分布外检测)、关键组件的一般诊断和健康监控,以及自适应模型中管理系统干预频率的详细信息。
· 保障案例的属性:最后,保障案例和运行程序的描述方式应能够根据上述观察分析其持续有效性。这将需要定义一套能够描述保障主张和相关证据有效性的有界公差的条件。这包括定义保障案例的审查频率或哪些触发事件会导致审查。
基于上述观察在保障案例中发现的缺陷可能导致作为安全管理系统和操作程序调整一部分的一系列措施。这些可以包括:
· 生成额外证据(例如,测试)以减少保障不确定性。
· 规定对系统的技术调整(这需要对保障案例进行重新评估)。
· 调整系统的运行程序。这可以包括对运行设计域的限制,以及降低残余风险所需的操作和维护程序。这在其他行业并不少见,例如,对于疑似新的或恶化的危害原因,增加维护检查间隔的频率。
虽然我们不知道(公共领域数据)汽车领域正在进行此类监控和反馈,但这是一个人工智能 / 机器学习可能有助于分析数据和识别与安全分析中预测的行为模式不同的行为模式的领域。医疗保健领域使用贝叶斯信念网络分析医疗保健数据并识别实践中的因果因素与危险和安全分析中确定的因果因素偏离的例子表明了可能的情况。
5.3 监管与治理层面
诸如欧盟为人工智能使用提出的监管指南和目标依赖标准来提供关于如何实现法规目标的更具体建议。然而,由于技术变革的速度加快以及保障中固有的不确定性,越来越难以制定一套足以保护公众免受认知网络物理系统涌现风险,同时确保创新技术的社会效益不受阻碍的监管指南和相关标准。这意味着需要一种敏捷的监管方法,并辅以标准。
我们提议扩展迄今为止描述的模型,以描述持续保障和动态安全管理,包括持续监管的概念。这意味着在监管和治理层面,需要一套观察和调整措施模型。必须选择观察点,以便监管机构能够及时应对涌现的风险,而决策模型必须考虑对当前监管措施有效性的理解以及可用于抵消涌现风险的潜在调整。监管风险指标可以包括以下类型的观察:
· 安全管理系统和相关标准定义的预测残余风险水平与新技术类别实际达到的风险水平之间的差异。这应包括使用新技术类别与先前技术所实现的风险的比较(根据 GAMAB 原则),例如,是否观察到涉及新车辆功能的事件数量增加?
· 应应用系统性的事后活动来评估事故(最好是未遂事故)的根本原因,并持续确定安全管理和监管程序的改进。对于事后分析,可以应用 SCS 框架来全面理解事件的根本原因。
· 虽然上述观察将涉及风险的滞后指标,但领先指标的定义并不那么容易,需要更多的研究。然而,一种方法可能涉及要求文选定的和合并的(例如,在车队层面)操作风险指标,例如人类操作者在系统监控期间所需的干预次数、技术系统更新的次数以及保障案例所需的更改。
· 应建立一个框架,确保自动驾驶的拟议法规能够根据初始部署的经验、与技术相关的新兴风险以及该领域不断发展的标准进行快速调整。这涉及利用不同的标准机制,例如公开可用的规范(PAS),以便能够更快地制定建议,还包括监管机构积极参与这些标准的制定,以确保原则的早期一致性。这可能需要系统定期重新认证,以纳入标准和最佳实践的最新更新。
· 对系统相关风险的公众认知的评估。
虽然没有明确使用持续保障一词,但 CDEI 文的建议可以被视为定义这种保障过程的尝试。
反思法规和标准的有效性以确定额外措施的能力将需要某种监管指南 “工作” 方式的模型,以便在做出变更之前评估变更的影响。作为欧盟人工智能指令的一部分,建议采用敏捷的监管方法,包括使用监管沙盒,这将伴随试点项目,以支持监管方法的开发和评估。在这里,我们还看到应用 SCS 框架来全面理解系统固有的风险以及跨 TMG 层面的措施的潜在益处的潜力。因此,未来研究的一个领域将涉及开发在这些技术的引入和连续推出期间随时间涌现的风险不确定性模型。该模型将部署在图 4 的持续监管周期的 “管理系统” 中。这种模型的开发将需要对可接受风险进行强烈的跨学科定义,以及定义演变法规所需的观察点(监管风险指标)。
关于制造商、运营商和监管机构在自动驾驶系统安全方面的责任分配,仍存在悬而未决的问题。这包括明确的问责制定义以及与系统复杂性和由此产生的语义鸿沟相关的责任差距的积极弥合。
6、剩余研究挑战与结论
本文总结了在复杂环境中运行的高度自动化系统的安全保障挑战,特别关注自动驾驶。引入了复杂性和不确定性的定义,以阐述这些挑战。为了从技术和人为因素、运营和管理以及监管和治理(称为 TMG 层面)的角度构建解决这些挑战的方法,引入了两个模型。第一个模型(见图 2)描述了理解跨 TMG 层面的系统性故障以及设计和运营时间措施对降低风险的影响的因果方法。第二个模型(见图 4)描述了这些层面如何作为持续监管和保障方法的一部分进行交互的动态视角。特别是,这种视角允许我们推理维持可容忍的低残余风险水平所需的观察和决策模型。这些模型还使我们能够确定为了使这样的方案可行实施仍需要的一些研究领域:
· 应定义在特定环境中运行的特定功能的系统性任务复杂性评估标准。这些标准将用于评估系统故障的可能性,并确定在技术和人为因素层面应用的适当措施以减轻这种风险。这些标准也可以基于参考系统,该参考系统可用作复杂性的比较基准。例如,已证明对在适宜天气条件下在映射良好的路段上运行的自动车道保持系统有效的措施,可以转移到可以论证具有类似复杂程度的功能(例如,自适应自动制动或超车辅助)。
· 系统理论安全分析技术应扩展到考虑系统内以及系统与其环境和人类操作者之间的交互中的不确定性和新兴复杂性。FRAM 和 STPA 方法的组合可能为这种方法提供一些启示,特别是在建模人类驾驶员、其他交通参与者和自动驾驶系统之间的交互时。分析人类和系统之间的功能分配的工作 [17] 是需要做的事情的一个例子。
· 系统内剩余的内在复杂性可能导致由于临界点和非线性行为而导致的状态快速变化。因此,天真的系统健康监控和诊断方法可能无法及时做出反应,以减轻由于这种复杂性导致的系统性故障风险。因此,需要更多的研究来定义风险领先指标的观察和决策模型,并在所有 TMG 层面推导出适当的行动。
· 将自适应系统范式应用于 ADS 的动态风险管理和持续保障时,需要 “管理系统” 组件的模型,该模型能够基于关于系统状态和环境的一组观察推导出最合适的调整。一种方法可以包括利用可解释的机器学习技术,基于环境条件和系统状态提供系统可靠性的显著预测。在这一领域的一些初步工作也已用于构建机器学习组件的可靠性模型。这种模型的数据驱动方法将需要在所有 TMG 层面系统地收集相关数据。这种模型的主要目标是识别风险的领先指标,以便能够及时应用系统调整以减少潜在危险。
· 需要将对复杂性、不确定性和残余风险的技术理解与风险的伦理和社会定义相结合,以便监管机构做出适当的部署和调整决策,同时在效用和风险之间找到平衡。这将包括定义一种共同语言,使技术安全专家和伦理学家能够进行对话,特别是发现哪些伦理问题可以合理地强加给系统,以及在技术系统本身或系统保障的限制阻止某些伦理问题得到回答的地方。
最后,本文中的分析强调了在支持 ADS 的人工智能安全标准和法规层面采取行动的必要性,总结如下:
· 安全标准应承认系统中不确定性和涌现复杂性的固有问题及其对风险的影响。这对安全要求的表达方式、系统理论安全分析的作用以及保障论据中潜在置信度不足的接受度有影响。
· 法规应定义严格的安全部署先决条件(见第 4 节),并确保持续保障原则到位(见第 5 节)。部署前提条件应包括系统性任务复杂性的影响评估以及对现有标准管理系统风险的适用性分析。持续保障必须超越定期的道路适航性测试,包括对系统功能不足的持续评估和对安全部署条件的监控(例如,解决环境中的分布偏移)。
· 法规需要为常见的自动驾驶用例定义可接受的残余风险水平条件,这不仅仅是简单参考现有事故率,因为人类相关错误与系统性机器引起的错误之间的直接比较可能在伦理上不可接受(见上述研究建议)。相反,法规应定义可以在部署前评估的风险概念,这些概念经得起严格的伦理判断,同时考虑可用于此类判断的证据性质的技术限制。
虽然我们在自动驾驶汽车的背景下阐述和说明了这些问题,但我们认为总体考虑和监管方法演变的需求适用于各个领域。当然,会有差异,例如在风险接受标准方面,但我们认为许多领域在监管实践和机制方面都需要改变。
本文由豆包软件翻译,如有不当之处请参照原文
下载请扫二维码:



