点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
太长不看版：该工作首次系统研究端到端自动驾驶中的交通要素（红绿灯/路牌）感知——给多个公开数据集补齐结构化 TE 标注，并以轻量辅助监督即插即用注入现有规划器。在 nuScenes、NAVSIM-v1/v2、Bench2Drive 上与 6 类规划器一致涨点，并在 NAVSIM-v2 上刷新 SOTA。
论文标题：Plug-and-Play Traffic Element Awareness for End-to-End Autonomous Driving
作者：Zongzheng Zhang, Jijun Wang, Saining Zhang, Shuo Wang, Yiru Wang, Hai Yang, Yang Chen, Yuwen Heng, Hao Sun, Anqing Jiang, Hao Zhao
机构：Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China; Bosch Corporate Research, Shanghai, China
论文链接：https://arxiv.org/abs/2608.18035
代码链接：https://zzongzheng0918.github.io/TE-Aware-E2E-AD/
导读
红绿灯、路牌等交通要素（traffic elements）在人类驾驶决策中扮演基础角色，理应自然影响端到端自动驾驶的性能。然而，现有端到端驾驶研究主要聚焦于车辆、行人等动态交通参与者，交通要素的作用在很大程度上未被探索。
学界至今仍缺乏一项系统性研究来量化它们的影响，主要原因有二：一是公开数据集很少提供结构化的交通要素标注；二是现代驾驶系统在架构与训练范式上千差万别，单从某一方法得出的结论难以泛化。
本文给出首个关于端到端自动驾驶中「交通要素感知」的系统性研究。我们通过为多个公开驾驶数据集补充全面的交通要素标注，构建统一的科研基础设施；并采用一种极简、通用的集成设计，以几乎不改动架构的方式，把交通要素信号即插即用（plug-and-play）地注入现有流水线。
我们在 nuScenes、NAVSIM-v1、NAVSIM-v2 与 Bench2Drive 上，跨感知-预测-规划流水线、视觉-语言-动作（VLA）模型、回归式规划器、扩散策略与轨迹打分框架等现代范式评估该设计。在所有范式与数据集上，这一简单集成都一致地提升驾驶性能，证明交通要素感知为端到端驾驶系统提供了一条鲁棒且可泛化（generalizable）的信号。尤其在颇具挑战的 NAVSIM-v2 上，我们的方法显著改进了 SOTA 架构与数据流水线，刷新了该基准的 SOTA。
效果展示
▲ 交通要素感知的端到端规划。(a) 在复杂路口，正确规划需要识别规则关键型交通要素，以避免「拓扑上可行但违反交规」的驾驶行为。(b) 交通要素普遍存在：在三个基准上，超过 55% 的场景至少包含一个交通要素。(c) 利用交通要素（及拓扑）能在开环与闭环评估中，为各类代表性端到端规划器带来一致提升。
▲ NAVSIM-v2 上的定性对比。左：带有检测到的交通要素的前视图像。右：LTF、LTF+SimScale 与 Ours 的预测轨迹。
引言
端到端（E2E）自动驾驶已迅速从研究原型走向可部署范式。今天的系统涵盖了极其多样的架构与训练选择：从感知-预测-规划混合、到纯回归式规划器、到扩散策略与轨迹打分框架，近来还出现了 VLM/VLA 风格的智能体式规划器。尽管形态各异，一个在人类驾驶中相当基础的因素却在 E2E 文献中讨论不足：交通要素（TE），例如红绿灯与路牌。从第一性原理看，TE 并非可有可无的上下文——它们是直接约束可行动作空间（如停/行、禁转、车道级通行许可）的规制信号，因而应当因果式地塑造规划决策。然而，主流 E2E 基准与方法几乎把它们感知目标与表示都集中在动态智能体（车辆与行人）以及稠密几何线索上，使 TE 的作用基本未被量化。学界对这样一个简单问题尚未给出系统性回答：跨现代范式，交通要素感知对 E2E 驾驶性能究竟有多重要？
图 1 说明为何这个问题不能被当作边角情况而忽略。图 1a 展示了一个典型路口，多个信号与标志共同决定哪些动作合法且安全。同时，TE 是普遍存在的，而非长尾稀少。如图 1b 所示，广泛使用的诸多数据集中，大多数场景都包含交通要素：nuScenes 的训练场景有 59.1% 含 TE（16,626/28,130），验证场景有 58.3% 含 TE（3,508/6,019）；而 NAVSIM-v1（navtest） 有 65.1% 的场景含 TE（7,904/12,147）。这种普遍性意味着，即便在学术基准内部，TE 也不是罕见的特例；而在真实部署中，E2E 系统会持续不断地与红绿灯/路牌交互。因此，缺乏系统性 TE 研究并非因为其无关紧要，而是出于两重现实壁垒：(i) 多数公开数据集缺少结构化的 TE 标注；(ii) E2E 驾驶系统的异质性——基于单一架构或训练配方得出的结论难以泛化。
为填补这一空白，我们给出首个关于「即插即用交通要素感知用于 E2E 自动驾驶」的系统性研究。我们的目标刻意不是再提出一个高度定制的规划器，而是构建统一的研究基础设施，并得出能跨越模型家族成立的、可泛化的结论。具体而言，我们 (1) 为多个主流驾驶基准补充全面的 TE 标注；(2) 设计一种极简的通用集成机制，实现为一个轻量的辅助 3D 交通要素监督（并在可用时辅以拓扑条件化），从而以即插即用的方式、以可忽略的架构改动把 TE 信号融入现有流水线；(3) 在 nuScenes、NAVSIM-v1、NAVSIM-v2 与闭环 Bench2Drive 基准上，跨一大组代表性范式评估该集成，包括回归式规划器、感知-规划流水线、扩散策略、轨迹打分框架，以及 VLM/VLA 风格模型。
我们的实验揭示了一个一致且实践中重要的结论：即便在极简的集成设计下，交通要素感知也能带来跨数据集、跨范式的稳定提升。如图 1c 所预告，加入 TE 监督可降低 nuScenes 上的开环轨迹误差、提升所有三类范式规划器在 NAVSIM 上的表现，并改善 Bench2Drive 上的闭环驾驶指标。有趣的是，在极具挑战的 NAVSIM-v2 基准上，TE 感知在代表性家族（回归/扩散/打分）间都带来大幅、一致的增益，并且即便与强大的现代数据引擎（如把一个 SOTA 的打分式骨干与大规模仿真协同训练数据配对）结合时仍然有效，并在我们的评估中刷新了 SOTA。
在聚合增益之外，我们还做了有针对性的消融以解释 TE 监督为何有效、以及如何鲁棒地集成它。我们发现：(i) 显式的 3D TE 表示优于仅 2D 的线索用于规划；(ii) 有选择地为 TE 建模深度，比喂入全局深度图更有效，说明 TE 提炼出了与决策最相关的空间线索；(iii) 交通标志（不止红绿灯）至关重要且常被忽视；(iv) 对于稀疏的 TE 目标，独立的预测头、focal loss 与保最大值的池化（max-preserving pooling）是避免被稠密背景梯度主导的关键。当车道拓扑可用时，我们把与自车相关的拓扑编码为紧凑的条件信号（类语言的嵌入），其效果优于基于 GNN 的图编码，并与局部 TE 线索互补。综上，这些结果表明 TE 感知是 E2E 驾驶中一个广泛有用却被低估的信号。
主要贡献
为多个主流驾驶基准（nuScenes、NAVSIM-v1/v2、Bench2Drive）补充全面的交通要素（TE）结构化标注，构建统一的科研基础设施。 设计一种极简、通用的集成机制——一个轻量的辅助 3D 交通要素监督（在拓扑可用时辅以拓扑条件化），以即插即用、几乎不改架构的方式把 TE 信号注入现有端到端驾驶流水线。 跨回归式规划器、感知-规划流水线、扩散策略、轨迹打分框架与 VLM/VLA 风格模型等代表性范式，系统评估该集成，证明交通要素感知能带来一致且可泛化的性能提升（并在 NAVSIM-v2 上刷新 SOTA）。
方法
一句话核心思路： 现有端到端自动驾驶研究系统性地忽视了红绿灯、路牌等交通要素（TE）对规划的影响；本文为多个公开数据集补齐结构化 TE 标注，并以一种轻量、即插即用的辅助监督把 TE 信号注入现有规划器，从而在不改动主体架构的前提下带来一致涨点。
整体方法可概括为「补标注 + 轻量即插即用监督 + 可选拓扑条件化」，核心是把交通要素以统一的 3D 表示接入既有的端到端规划器。具体拆为三步：
(a) 交通要素标注工程（研究基础设施）。 多数公开驾驶数据集（nuScenes、NAVSIM、Bench2Drive）缺少结构化 TE 标注，作者先用 2D 检测 + 单目深度 + LiDAR 几何，把红绿灯/路牌从图像坐标提升到统一的 3D 中心点表示，并为多个基准补齐大规模结构化 TE 标注，构建可复用的科研基础设施（拓扑定义见 Figure 2，检测器逐步提升见 Figure 6）。
(b) 轻量辅助监督设计（信号从哪来）。 在既有端到端流水线的解码端挂一个轻量的 3D TE 检测辅助任务（独立预测头 + focal loss + 保最大值池化），以可忽略的架构改动，迫使网络为这类稀疏却"决定规则"的监管信号分配专属表示能力；当车道拓扑可用时，再把自车相关拓扑编码为紧凑的语言式嵌入作为条件信号，与局部 TE 线索互补（见 Figure 3）。
(c) 即插即用集成（如何接入规划器）。 预测得到的 TE 表示（及拓扑查询）直接与 BEV / 规划查询拼接以引导规划解码器，无需替换主干、也无需重设训练范式；因此同一份监督可无缝套用到回归式、扩散、打分、感知-规划、VLA 等不同家族的规划器上。
▲ 驾驶拓扑的定义。(a) LCTE 拓扑：将交通要素（红绿灯/路牌）关联到前视图像中的自车车道；(b) LCLC 拓扑：车道中心线之间的拓扑关系。
▲ (a) 3D 交通要素提取流程：在前视图像上进行 2D 交通要素检测与单目深度估计，并结合 LiDAR 几何信息，将每个交通要素定位为一个 3D 中心点。(b) 方法总览：多视角图像被编码为视觉查询，并通过一个辅助的 3D 交通要素检测任务加以增强；预测得到的拓扑邻接矩阵被格式化为结构化语言，由冻结的语言编码器处理；得到的拓扑查询与 BEV 查询拼接，以引导规划解码器。
▲ 我们的交通要素检测器逐步性能提升。
笔者理解。 交通要素之所以在端到端文献里长期被低估，根本原因在于主流基准把感知目标与表示都压在动态智能体（车辆/行人）和稠密几何上，而灯/牌这类稀疏的监管信号在共享特征空间里极易被背景梯度稀释——不是它不重要，而是研究基础设施缺位让它"无法被公平量化"。本文最值得玩味的结果是：一个几乎不改架构的轻量辅助监督，却在六类规划器、四个基准上带来一致增益，甚至把 NAVSIM-v2 的 SOTA 再度推高。这说明 TE 感知是一条"正交且可泛化"的免费信号——它不依赖某一特定架构，而是补足了所有规划器共同缺失的规则约束，因此增益能跨家族叠加，并能与更强骨干 / 数据引擎继续协同放大。
实验结果
我们在四个基准、六类规划器上系统验证：交通要素感知带来一致且可泛化的涨点；在 NAVSIM-v2 这一高难度基准上，即使配合强数据引擎也依然有效，并刷新 SOTA。
▲ 在 NAVSIM-v2 上基于 LTF 的鲁棒性分析。在推理时扰动预测所得的 TE 表示（TE 深度噪声、随机丢弃 TE 检测框、或注入假阳性 TE 预测）会使性能平滑下降，但仍高于 LTF 基线，说明对中等程度的上游 TE 感知噪声具有鲁棒性。
▲ NAVSIM-v1 基准（navtest）上仅使用相机的方法。
▲ 在 NAVSIM-v2 navhard-two-stage 基准上基于 EPDMS 与现有方法的对比。
▲ Bench2Drive 中的闭环规划性能。
一致性涨点：跨六类规划器普遍成立。 在 NAVSIM-v1（Table 2）与 NAVSIM-v2（Table 3）上，作者用同一份 TE 辅助监督覆盖了回归式（LTF）、扩散（DiffusionDrive）与打分（DrivoR）三大代表性家族：以 EPDMS / PDMS 衡量，三大类规划器加入 TE 监督后无一例外地稳定上涨（NAVSIM-v2 上整体指标较基线普遍提升约 +10 EPDMS），且与 SimScale 等大规模仿真协同训练数据叠加时增益仍持续放大。这种"跨范式、跨骨干都涨点"的现象，正是交通要素作为可泛化信号的直接证据。
NAVSIM-v2 刷新 SOTA。 在更具挑战的 NAVSIM-v2 navhard-two-stage（Table 3）上，DrivoR(+SimScale)+Ours 将 EPDMS 推高至约 57.9，显著领先原始骨干，也超越 ZTRS（45.5）、GuideFlow（46.7）等既有方法，刷新该基准 SOTA；增益主要来自 NC（无碰撞）、DAC（可行驶区域合规）、DDC、TLC 等安全 / 合规核心项，说明 TE 监督真正帮助模型把交规"内化"进规划。
闭环同样有效。 Bench2Drive 闭环测试（Table 4）中，VAD 与 DriveTransformer 在加入 TE 监督与拓扑条件后，Driving Score 与成功率同步提升（VAD 的 Driving Score 由 42.3 升至 56.4，+14.1），而 Efficiency 反而下降——这恰恰说明基线被效率目标鼓励出的"过于激进"行为被 TE 感知纠正，规划变得更安全、更合规。
鲁棒性。 如 Figure 5 所示，即便在推理时向 TE 表示注入深度噪声、随机丢框或假阳性，规划分数也只是平滑下滑且始终高于 LTF 基线，说明该模块对上游感知噪声具备中等程度的容错能力，利于真实部署。
总结
我们提出一种轻量方法，把交通要素（灯/牌）与车道拓扑注入基于视觉的端到端规划。通过构建统一的 3D 交通要素表示、添加 TE 辅助监督，并用编码为结构化语言的自车中心拓扑来条件化规划器，我们在四个基准（开环与闭环）与六个代表性规划器上取得一致增益，在仅增加微小运行时开销的同时，提升了轨迹精度与安全/合规指标。重要的是，我们的结果显示出强可扩展性：增益在更强骨干上依然存在，并在用更多数据训练时进一步提升，凸显出交通要素推理这一此前被低估、却对决策至关重要的因素。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
