数据驱动的自动驾驶虚拟测试方法

随着道路交通中自动驾驶功能的复杂性、责任以及其运行设计域范围不断扩大，通过虚拟环境和仿真模型来完成开发、验证和确认的大部分工作的需求日益增长。

然而，如果仿真不仅是为了增强现实世界实验，更是为了取代它们，就需要定量方法来衡量仿真模型在何种程度、何种前提条件下能够充分反映现实，从而允许将其用于驾驶功能的虚拟测试。特别是在与 “开放世界” 安全影响相关的研发领域，用于参数化和 / 或验证仿真的现实世界数据严重短缺，尤其是在自动驾驶车辆将在混合交通中遇到的人类交通参与者行为方面。

本文介绍了德国 AVEAS 研究项目的中期成果，该项目旨在开发用于协调、系统和可扩展地获取现实世界数据的方法和指标，以支持高级驾驶辅助系统和自动驾驶的虚拟验证与确认，并建立一个遵循 FAIR 原则的在线数据库。

如摘要所述，随着未来自动驾驶功能（SAE 3 级及以上）的开发、验证和确认对虚拟环境和仿真模型的需求日益增长，仿真的作用必须从在手动定义参数下回答特定问题的工具，转变为在 “开放世界” 条件下仅通过宽泛规格就能确定系统一般属性的工具。面对自动驾驶功能不会被简单划分为 “完全安全” 和 “不完全安全”，而是 “残余风险可接受” 和 “残余风险不可接受” 这一情况，这些属性必须通过定量而非定性的方式来确定。同时，随着系统和运行设计域复杂性的增加，自动驾驶车辆的故障模式也变得更加复杂，因此即使是手动设计的仿真模型，也可能在虚拟测试中限制可涵盖因素的广度。

这促使我们越来越多地将仿真模型的参数化（在某些情况下还包括设计）建立在通过系统采集获得的现实世界数据之上，这些数据并非为特定的 “被测系统”（即所讨论的自动驾驶车辆功能）量身定制，而是要构建一个现实世界的 “数字孪生体”，以便能够发现一些人类专家事前甚至未曾知晓的系统局限性。

作为此类数据驱动仿真的潜在来源，已经存在各种代表现实世界交通数据和安全测试仿真数据的数据库和格式。如今，在可仿真的事故数据方面，最全面的成果之一是 GIDAS（德国深度事故研究）和 TASC 数据库 2。然而，GIDAS 基于事故重建数据，仅限于直接参与事故的车辆，在事故发生前的驾驶行为方面存在显著不确定性，并且每年仅提供 2000 起事故重建数据。TASC 包含重建的事故，并采用基本方法创建合成场景，但同样仅涉及直接参与事故的车辆。其他现有来源包括 highD、SHRP 2 NDS 和 NGSIM 数据集等，但这些数据集除了事故之外，对驾驶行为的视角非常特定，并且在全面验证的可扩展性方面存在局限。

本文献是在 AVEAS 研究项目的背景下撰写的，该项目由德国联邦经济事务和气候行动部（BMWK）在 “新车辆和系统技术” 计划内资助。

AVEAS 研究项目（英文全称：“Acquisition, Analysis and Simulation of Traffic Situations for AD Safety Assurance”，即 “用于自动驾驶安全保障的交通场景获取、分析与仿真”）由德国联邦经济事务和气候行动部资助，由来自高级驾驶辅助系统（ADAS）、自动驾驶和安全领域的工业界、标准化机构和研究机构组成的联合体参与。该项目旨在开发用于系统和可扩展地获取现实世界数据以支持高级驾驶辅助系统 / 自动驾驶虚拟验证与确认的方法和指标，并建立一个遵循 FAIR 原则的在线数据库，其方法概述如图 5 所示。

图 1：AVEAS 中使用的不同采集方法；从上到下：交叉路口录制的激光雷达点云及检测到的动态物体；城市交叉路口的红外图像及检测到的道路使用者类型；超轻型飞机拍摄的州际高速公路航拍图像及检测到的车辆和运动轨迹；如所述的基于车辆的摄像头、激光雷达和雷达传感器数据采集（在 esmini 中显示提取的道路和车辆）

在本文中，我们展示了项目在风险定义、不同采集方法的协调方面以及创建协调场景数据库的数据规范等方面的中期成果，该数据库将支持虚拟验证与确认方法。最后，讨论了数据驱动虚拟测试在自动驾驶实际用例中的前景。

该项目旨在涵盖城市、乡村和高速公路驾驶场景的现实世界交通数据。这些数据通过基础设施、道路车辆和基于飞机的传感器在特定同类事故的事故热点区域（即可能在相似风险条件下重复出现行为的地方）采集，并辅以驾驶行为研究。这种组合能够覆盖从危险交叉路口的持续监测到长时间以相同速度跟踪州际高速公路交通等各种用例，以及从地面和空中视角的空间覆盖范围。

然而，这就产生了协调所提供数据的需求，以便在保留特定方法相关信息的同时，所有方法的通用最低标准能够支持针对广泛用例的集体处理。为了实现统一的数据处理和评估，必须实施跨所有采集方法（见图 1）的通用数据结构和属性规范，以及后续特定方法的自动化处理流程。

此外，所调查的交通数据不仅涵盖不同区域（每个区域都有特定的交通条件和常见场景），还涵盖不同临界程度的场景，因此需要找到用于区分的通用度量标准。

在数据驱动虚拟测试的范围内，我们采用了符合 ISO 21448 规定的预期功能安全（SOTIF）概念的车辆系统 “风险” 概念，涉及整体系统按规定的相关安全贡献以及运行设计域内的动态环境，而非 ISO 26262 意义上的单个组件故障所产生的风险。此类风险在 2016 年佛罗里达州特斯拉 Model S 与半挂牵引车碰撞事故的背景下受到了特别关注，该事故是由自动驾驶感知、系统设计、主动和被动安全、人为因素以及人机界面设计等多种因素共同作用导致的，最终形成了如图 2（近似）所示的整体事故场景。

图 2：特斯拉 Model S 钻入半挂车底部事故的定性再仿真—— 这仅仅是由于人类卡车司机的不规则驾驶行为、特斯拉传感器和传感器融合原理的局限性以及人类乘客与特斯拉系统之间的不足交互共同作用的结果。数据驱动的虚拟测试不仅能够发现此类巧合，还能够通过概率和影响来量化风险。示例性机器学习目标检测结果使用在 MS COCO 上训练的 Mask R-CNN

因此，我们认为在早期混合交通中，自动驾驶功能的场景临界性受多种因素影响，特别是时间、空间和环境条件因素。从这个角度来看，“风险” 是一种复杂的、多参数的效应，需要相当精确的量化，以区分高暴露风险与不现实或极不可能的场景，这就要求提供具有统计显著性和准确性的数据量。

围绕风险度量的协调，这再次需要跨采集方法和风险视角的可提供数据的协调数据结构和属性规范，连接从事故重建数据到正常交通中不规则行为观察等不同采集方法和场景背景。因此，时空相关指标需要能够不仅呈现具有严重和轻微伤害概率的事故之间的临界性差异，还能呈现正常驾驶场景、事件和事故之间的临界性差异。此外，指标不仅应能够评估整个场景，还应能评估离散时间点的场景。下文将介绍用于衡量风险和不同风险来源的指标。

3.1 时空相关风险的度量

传统的时空相关风险度量使用不同的动态参数，如时间、距离、速度、加速度或加加速度，这些参数大多与场景中的其他参与者相关。总体而言，它们可通过以下方面加以区分：

· 阈值的提供情况；

· 评估时间离散风险的能力（而非仅评估整个场景的总体风险）；

· 在正常驾驶场景中的适用性（而非仅适用于事故场景）；

· 使用多个反事实仿真来说明动态事故的可避免性；

· 在各种场景中的适用性（而非仅适用于某些场景）。

协调数据格式优先选择那些特别适用于各种场景的风险度量。这一方面提供了不同场景之间的可比性，另一方面最大限度地减少了可能仅有助于评估有限场景的临界性度量的数量。在 AVEAS 当前阶段，gTTC和 PrET被视为常见的风险度量，并辅以时间和距离车头时距等基本度量。使用反事实仿真来说明替代场景结果的风险度量尚未实施，但可能在场景数据库建立后添加，该数据库为创建合成替代场景的采样方法提供基础。

3.2 与人类行为相关的风险

与人类行为相关的风险是指在人类完全控制车辆期间，由人为错误和 / 或偏离规范或交通法规的行为所产生的风险，这些风险会影响附近自动驾驶车辆的安全。为了将此类行为纳入验证过程，基于上述数据通过优化方法对现有行为模型进行评估和参数化，并探索新的数据驱动模型方法，以提取关键人类行为（例如，如特斯拉事故中观察到的人类交通规则违规行为），用于新场景的仿真。

作为 AVEAS 中模型参数化和仿真框架的一部分，我们使用 PTV Vissim，该软件整合了 Wiedemann99 模型来仿真交通参与者的跟驰行为。此外，Sparmann 模型的修改版本用于说明智能体的车道变换动态。可以设置其他参数，如期望速度分布以及最大和期望加减速分布。为了优化基础模型参数，我们采用迭代过程。因此，我们计算给定仿真估计下记录数据中感兴趣的可观测值（如车辆速度）分布的对数似然。然后使用 Nelder-Mead 算法改变参数，以使在仿真数据中观察到记录数据的可能性最大化。

基于航拍测试数据集进行了初步参数优化。在这里，我们优化了两类智能体（即轿车和卡车）的期望速度分布。由于我们假设为高斯分布，这导致需要优化四个参数，即两个均值和两个标准差。总体结果验证了我们优化过程的可行性。

3.3 与自动驾驶功能相关的风险

此类风险汇总了全自动模式下自动驾驶功能的相关风险，即在考虑的时间间隔内，动态驾驶任务（DDT）的全部责任完全由自动驾驶功能承担。这引入了新型风险，例如由传感器、感知和规划算法的局限性导致的风险，如图 1 和图 3 所示。为了模拟这些影响，专门在不利条件下对典型自动驾驶车辆传感器进行现实世界数据采集。

图 3：通过数据驱动模型的特定参数变化，能够对机器学习方法进行敏感性分析，如图所示的基于 Mask R-CNN 的光照条件敏感性分析（在 OCTANE 中仿真，参见图 1）

对于不同的传感器模态，考虑不同的传感器特定特性。对于摄像头传感器，我们评估诸如动态范围有限或增益和白平衡快速调整等现象。在汽车环境中，这些现象主要由路边环境引起，即龙门架、桥梁或隧道。此外，考虑不同的天气条件和一天中的不同时间，以记录其对感知的影响。对于激光雷达传感器，AVEAS 项目特别考虑高反射环境，例如停车场和湿滑路面。这些环境特别受关注，因为它们可能导致多路径反射，从而导致错误的距离估计甚至漏检。

3.4 自动驾驶与手动驾驶模式转换相关的风险

自动驾驶与手动驾驶模式转换相关的风险包括驾驶功能的交接以及人类驾驶员对自动驾驶系统的主动干预。在基于虚拟现实（VR）的驾驶模拟器中进行人机交互研究，以评估具有挑战性的转换场景中的风险因素。为了实现高度沉浸感，在 VR 环境中精确建模被测系统的内部，并在 6 自由度运动系统上安装相应的物理硬件模型来驱动模拟器平台。

该设置允许仿真和监测驾驶场景，重点关注被测系统中现有不同人机界面（HMI）以及具有各自布局和内容的新型界面的驾驶员行为。

测试用例包括人类驾驶员和自动驾驶功能之间各种变化的特定交接场景。记录所有数据，包括外部场景和车辆内部参数，如驾驶员姿态、动作、眼动追踪信息和控制输入，以便系统地纳入数据库。

4.1 一般方面

虚拟测试的相关标准包括用于地图数据的 ASAM OpenDRIVE 标准、用于逻辑场景变化和采样的 OpenSCENARIO 标准以及用于传感器和场景数据标注的 OpenLABEL 标准。我们结合使用这些标准，并提出了实例化 OpenLABEL 用于地图参考轨迹的规范，作为高度多样化交通数据采集方法的通用格式抽象。

该数据库将通过提供交通和事故场景的静态和动态数据，提供用于评估安全和辅助相关系统以及交通流行为的信息和筛选标准。从而，保留不同内容之间的关系。

每种采集方法在特定属性的可检测信息方面具有特定优势（例如，车辆灯光状态、驾驶员状态），这些信息可能无法通过其他方法检测到，但也可能存在限制（例如，由于遮挡或有限传感器视野导致的不可观测道路区域 —— 图 4）。因此，数据格式应能够包含可选信息。这导致数据库中使用的标签和格式有很高的标准化、协调和扩展需求，以及信息的全面结构化。

图 4：对不可观测道路区域进行一致标注，例如航拍数据（左，由于有限的相机帧视野导致不可观测）和车辆记录数据（右，主要由于传感器范围和地面物体遮挡导致不可观测）

4.2 协调数据格式结构

ASAM OpenLABEL 是一种基于 JSON 的格式，便于机器解析和数据的分层结构化，旨在标准化多传感器数据流和场景文件的标注。OpenLABEL仅对单位、格式和对象命名设置基本要求。总体而言，这些对象在高层可分为 “标注（Labelling）”、“标记（Tagging）” 和 “元数据（Metadata）” 对象。其中，标注数据级别通常表示具有时空变化的数据，而标记数据和元数据级别上的对象表示静态信息。每个对象可以包含进一步的嵌套信息。因此，OpenLABEL 具有高度的可定制性，能够满足上述要求。

下文将介绍所开发的 AVEAS 特定 OpenLABEL 结构中的部分内容及其分配。结构化 OpenLABEL 格式中标签数据级别的具体要求满足情况最好通过实例说明（见表 1）。总体而言，在此级别上，需要根据信息所涉及的对象进行区分，因此引入了特殊的不同标识符和分层子对象。在 “标注” 级别可以区分 “上下文（Context）”、“对象（Objects）”、“事件（Events）” 和 “帧（Frames）” 对象。“上下文” 和 “对象” 对象分别描述整个场景期间静态的度量以及场景中参与者的度量。“事件” 对象描述场景中预先定义的已发现事件。通过先前定义的对象（参与者 ID），可以实现事件中所有相关对象运动的嵌套信息。“帧” 对象允许专门指定时空变化。由于时空相关风险度量通常在两个对象之间指示，因此引入了一个进一步的子对象来表示一个参与者 ID 与多个其他参与者 ID 的风险度量。

表 1：“标签” 数据级别的信息（可选信息标记为 *）

通常，OpenLABEL 区分 “元数据（Metadata）” 和 “标记（Tagging）” 对象。“标记” 描述有助于总体描述场景的数据（而非 “帧” 或 “事件” 对象所对应的孤立、几何或时空信息），并包含用于在数据库中搜索和筛选场景的关键字。相比之下，“元数据” 对象应用于提供信息性内容，如文件版本、作者等。然而，为了尽量减少对象数量，AVEAS OpenLABEL 格式中未对元数据和标记数据进行区分，因为这两类信息均与场景总体相关。表 2 总结了元数据级别的对象内容。

表 2：“元数据” 级别的信息（可选信息标记为 *）

在收集并协调通过不同采集方法记录的数据后，该数据库可用于参数化数据驱动的微观交通模型。这些模型随后可用于创建临界场景的仿真，从而评估自动驾驶功能在风险条件下的性能。

如前所述，AVEAS 项目的仿真框架包括用于交通行为仿真的 PTV Vissim、用于自动驾驶车辆仿真的 Carla 和 OCTANE 仿真框架，以及由 GOTECH 运营的虚拟现实驾驶模拟器。概述了现有技术中的模型。在项目期间，这些框架和模型将得到扩展，以越来越多地支持基于所采集数据的数据驱动模型。

在后续步骤中，我们计划扩展交通中人类行为模型参数化的数据基础（特别是纵向行为，即给定交通场景下的速度、加速度和距离选择），如 3.2 节所述。在确定优化的交通模型参数集后，我们可以创建现实交通的任意变体，以采样临界场景 —— 从而能够在数据库中搜索特定感兴趣的场景。其中一个场景可能是临界车道变换。记录的交通场景（车辆数量、相对位置、速度）将用作仿真的起点。随后，在该特定场景类型的已发现分布范围内改变相关参数。对于给定示例，这将包括车道变换车辆与另一车道上快速接近车辆之间的距离，并使用基于智能体的交通模型仿真参数变化对场景临界性的影响。一旦避免碰撞所需的减速度超过车辆模型的最大减速度，我们将观察到碰撞，即临界场景的极限情况。

上述程序未来可能用于评估自动驾驶功能，只需将其功能特性分配给一辆或多辆仿真车辆即可。通过这种方式，有可能检查驾驶功能是否直接导致临界场景，或者是否引发事故，例如智能体为避免与自动驾驶车辆或周围交通发生碰撞而需要大幅减速。

通过记录数据参数化车辆在本车道内横向行为的相关工作。该模型提出了一种基于离散状态马尔可夫模型和连续状态布朗噪声模型的两级方法，该方法可在记录的横向行为数据上 “训练”，并在获得足够数据后能够扩展为更全面的环境依赖模型。

生成的交通场景随后将用于 Carla、CarMaker 和 OCTANE，以仿真自动驾驶功能（添加传感器、动力学和总线 / 接口仿真）和事件数据记录系统；用于 PCCrash 以重建碰撞期间的车辆动力学；以及用于虚拟现实驾驶模拟器研究，以再次基于车内监测优化人类行为模型。

图 5：项目方法概述。在线程 A中，首先在公共交通场景中采集行为数据，经过处理后生成带有地图参考的轨迹，并存储于中央场景数据库中。这些数据一方面用于行为模型的参数化与评估，另一方面用于根据所采集数据的合理分布，抽样生成具有相关性且符合现实的场景。在线程 B中，重点分析自动驾驶功能特性所带来的新型风险 —— 这些风险在当前公共道路交通中尚未出现或极少出现，具体包括：自动驾驶功能单独负责动态驾驶任务（DDT）时车载系统的技术因素，以及人机交互界面（HMI）中自动化与手动控制模式切换的相关因素

在本文中，我们讨论了系统采集现实世界数据以用于自动驾驶功能数据驱动仿真的联合方法需求 —— 其视角为，此类仿真只有在能够定量预测系统在 “开放世界” 条件下的安全性能时，才是实现自动驾驶功能高效安全验证的关键。

这种方法需要系统且协调的现实世界数据采集方法，以高度自动化的方式处理数据，提供标注、元数据，并融合来自不同来源的数据，如外部交通数据、车辆内部数据、传感器 / 感知数据以及与自动驾驶安全评估相关的环境条件。AVEAS 研究项目的目标是为此联合方法建立基本概念，特别侧重于协调来自根本不同数据采集方法的风险度量和数据格式，并提供从各种视角出发的临界交通场景 FAIR 数据集。

本文呈现的项目中期成果表明，实施高度自动化的数据采集和利用流程是实现用于自动驾驶功能安全验证的数据驱动模型的可行且可扩展的方法，并将基于 ASAM OpenLABEL 标准定义的合适的独立于方法的数据格式作为基础。

因此，联合且系统的数据采集、通用结构化数据格式和本体旨在解决定量安全评估中的关键问题 —— 最重要的是，不仅能够按临界性级别，还能按统计预期暴露度确定系统局限性的优先级。

在此背景下，AVEAS 项目的成果旨在作为初步可行性研究，并作为跨不同领域和任务的必要通用标准规范。然而，要释放这种方法和此类数据在自动驾驶和道路交通发展安全提升方面的潜力，还需要持续的国际努力。