点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
太长不看版：预训练阶段同时做视频VAE潜变量预测和像素级帧重建，协同微调阶段只用潜变量特征驱动动作专家——HyWorldVLA在NAVSIM v1/v2双榜SOTA（PDMS 90.59 / EPDMS 89.71），雨雾噪声场景86.87分把像素级基线（60~67分）甩开几条街。
论文信息
论文标题：HyWorldVLA: A Vision-Language-Action Model with Hybrid World Modeling for Autonomous Driving
作者：Quanfu Yu, Xian Wu, Hao Xu, Liulong Ma
机构：Automotive New Technology Research Institute, BYD Company Limited
论文链接：https://arxiv.org/abs/2607.20988
导读
给VLA模型加上世界建模能力，是端到端自动驾驶里一个很有前途的范式。但这里有个"鱼和熊掌"的难题：像素级的未来预测能做细粒度的时空推理，可在雨雾等噪声驾驶场景下鲁棒性就会打折扣；反过来，基于潜变量的世界模型缓解了对噪声的敏感，却因为缺少像素级监督，往往可解释性受限、表示质量退化。
为了调和这对矛盾，作者提出了HyWorldVLA——一个统一像素级监督与潜变量表示学习的混合世界VLA框架。预训练阶段，模型一边预测预训练视频VAE编码的视频潜变量，一边重建视频帧来提供精确的像素级锚定；到了协同微调阶段，模型只预测潜变量特征，喂给动作专家生成轨迹。
在NAVSIM v1和v2基准上的大量实验表明，HyWorldVLA显著优于像素级和潜变量两派世界模型基线。值得一提的是，本文还首次对自动驾驶中世界模型的噪声鲁棒性做了系统的定性与定量分析，为评估后续架构立下了新基准。
▲ 世界模型范式对比。(a) 像素级世界模型：迭代预测动作与图像，易受场景噪声影响；(b) 潜变量世界模型：预测潜状态，但时空动态建模较弱；(c) 混合世界模型：本文方法同时建模迭代式动作-图像预测与未来潜状态预测，兼得细粒度时空推理与场景噪声鲁棒性。
效果展示
混合世界建模带来的噪声鲁棒性提升是肉眼可见的：把前视亮度从晴天一路调到阴沉，DriveVLA-W0的行为模式明显"精神分裂"，而HyWorldVLA的驾驶行为几乎不随光照变化；在雨雾造成的非均匀退化场景里，DriveVLA-W0过度保守、牺牲通行效率，HyWorldVLA则继续保持与人类驾驶对齐的准确轨迹。
▲ 混合世界建模提升对场景噪声的鲁棒性。(a) 光照变化下DriveVLA-W0出现严重的行为波动，而本文方法保持高度一致。(b) 雨雾非均匀噪声下，DriveVLA-W0过度保守、牺牲通行效率，而本文方法保持与人类对齐的精准驾驶轨迹。
引言
端到端自动驾驶已经成为构建智能汽车系统的主流研究方向，其目标是把感知、推理和控制统一到一条整体流水线中。作为一种以驾驶为核心的范式，视觉-语言-动作（VLA）模型将视觉场景感知、语言语义理解和底层动作预测整合在一起，能够有效利用大规模驾驶数据集和通用的视觉-语言先验来学习鲁棒的驾驶行为。与容易误差级联、在长尾和交互交通场景中泛化能力有限的传统模块化自动驾驶系统相比，基于VLA的框架提供了更具适应性和泛化能力的决策能力，在真实车辆部署中展现出巨大潜力。
为了进一步增强VLA模型的时空推理和场景泛化能力，近期的进展为标准驾驶VLA流水线加上了世界建模能力——学习预测未来场景状态，以实现前瞻性的因果推理。现有的驾驶VLA世界建模范式分为两大主流类别，各自存在固有的权衡。像素级世界模型通过完整重建未来帧来施加监督，提供稠密的几何与物理约束，在遮挡、交互和长尾驾驶场景中有很强的泛化能力，如图1(a)所示。然而，像素级重建天然地对雨、雾、光照波动等环境变化敏感，这从根本上限制了像素级世界模型在复杂驾驶条件下的部署鲁棒性。相比之下，潜变量世界VLA纯粹在紧凑特征空间中预测未来场景状态，提升了场景噪声鲁棒性，如图1(b)所示。然而，缺少显式的像素级锚定会导致表示退化和可解释性受限，严重恶化模型在复杂真实驾驶场景中的表现。
为了解决世界建模领域的这一根本性两难，我们提出HyWorldVLA——一个全新的混合世界VLA框架，统一了像素锚定监督与潜变量特征预测两者的优势，为端到端自动驾驶同时提供精度与鲁棒性。与现有的纯像素级或纯潜变量世界模型不同，如图1(c)所示，HyWorldVLA在预训练阶段采用双重监督范式，联合优化视频VAE潜变量预测与原始像素帧重建。在随后的协同微调阶段，模型只预测潜变量特征，并将其喂给动作专家生成驾驶轨迹。在这一设计下，像素级重建在预训练期间充当严格的结构正则器，精炼潜变量嵌入学习、防止表示坍缩；而在协同微调阶段，动作生成以保留了紧凑时序表示的潜变量特征建模为条件，增强了所生成驾驶轨迹的场景噪声鲁棒性。大量实验结果表明，HyWorldVLA成功地将像素级世界模型细粒度时空动态建模带来的高性能，与潜变量世界模型固有的场景噪声鲁棒性结合在了一起。
主要贡献
我们的贡献总结如下：
– 我们提出了HyWorldVLA，建立了一种混合世界建模范式，将世界动作模型与潜变量世界模型的互补特性统一到单一框架中。
– 我们引入了语言引导与潜变量条件机制，有效地把模型引向与动作生成相关的语义信息。
– 在NAVSIM基准上的大量实验表明，我们的方法达到了最先进的性能，验证了混合世界建模的有效性。
方法
HyWorldVLA的任务定义是：给定多模态观测，预测自车未来路点。输入包括当前及历史前视图像序列、历史自车路点（位置+朝向角），以及历史导航指令（如直行、右转），输出未来T个时间步的路点序列。整体框架由三大组件和三个训练阶段构成。
▲ HyWorldVLA总览。HyWorldVLA包含三个训练阶段：首先在文本引导下训练视频VAE压缩与重建视频帧，为后续训练提供真值目标；预训练阶段用文本、图像、动作组成的序列训练世界模型进行迭代预测，并引入可学习潜查询Q聚合信息、预测未来潜变量；协同微调阶段把历史序列与Q喂入VLM获得全局上下文与预测潜变量，再经联合注意力机制传给动作专家生成动作。
文本引导的潜变量特征学习：采用视频变分自编码器把未来帧编码为紧凑潜特征。空间编码器基于Stable Diffusion图像VAE堆叠3D卷积做8×空间下采样并保留完整时序长度；轻量时序自编码器再做4×时序压缩，消除帧间静态冗余。为提升重建质量，每个block内嵌多层文本交叉注意力：以视觉patch为query和value、Flan-T5文本嵌入为key计算交叉注意力并残差加回。这一文本语义先验有效抑制了运动重影、边缘模糊和时序闪烁。VAE由重建损失、对抗损失和KL散度正则三项联合优化。
预训练：目标是让骨干同时获得图像级和潜变量级的世界演化预测能力。视觉上，按VQGAN把连续视频流切块离散化为视觉token；动作上，用FAST把自车相对坐标下的路点序列离散化为动作token；语言上，用Emu3 tokenizer把驾驶指令离散化为语言token。关键设计是在输入序列中插入一个可学习查询token Q，其位置的隐状态经MLP预测未来潜表示。所有模态共享词表，拼成统一序列并施加因果掩码防信息泄漏，训练目标由语言token预测、动作预测、视觉token预测和潜表示一致性四项组成。
协同微调：世界模型与动作专家联合优化。骨干与动作专家通过联合注意力机制集成：历史动作、驾驶指令和预测潜表示拼接为注意力模块的输入序列，与骨干上下文交互后，动作token位置的隐状态经MLP头解码。为验证跨范式兼容性，作者在选择式与生成式（flow matching）两大动作模型家族上都做了实例化，并给出各自的训练目标。
实验结果
NAVSIM v1主榜：HyWorldVLA以单目前视相机拿到PDMS 90.59，超过像素级世界模型最强基线DriveVLA-W0（90.2）和VLA系强基线ReCogDrive-8B（90.5）、CoWorld-VLA（89.8），也远高于潜变量世界模型（最高89.0）。性能增益可归因于混合世界建模范式——它调和了像素级世界模型的细粒度时空建模能力与潜变量世界模型的高层语义表示能力。
▲ NAVSIM v1上与最先进方法的对比。缩写：1x Cam（单目前视相机）、Nx Cam（环视相机）、L（激光雷达）。表格涵盖端到端方法、VLA方法、像素级世界模型方法与潜变量世界模型方法四大类。
NAVSIM v2主榜：在扩展指标版v2上，HyWorldVLA以EPDMS 89.71继续领跑，超过ExploreVLA（88.8）、Latent-WAM（87.7）、DriveWorld-VLA（86.8）等对手。
▲ NAVSIM v2扩展指标上与最先进方法的对比（含DDC、TLC、LK、HC、EC等细粒度维度与综合指标EPDMS）。
组件消融：去掉像素回归能力（PureLWM）得分最低（87.50），证实其时空建模能力对理解环境、生成准确动作的关键作用；去掉潜变量表示能力（PureWAM）也显著下降到89.91；潜变量模块去掉语言引导降到90.35，说明语言能有效把模型引向规划相关语义；动作专家去掉潜变量条件降到90.29，说明显式利用预测的未来信息有利于更准确的动作生成；协同微调中去掉潜变量监督得到90.17，凸显保留预训练潜变量语义、防止过度优化的重要性。
▲ NAVSIM基准上的消融研究（PureWAM / PureLWM / 去语言引导 / 去潜变量条件 / 去协同微调潜变量监督 vs. 完整模型）。
损失权重消融：预训练阶段，固定λ2=0.1时，λ1从0.1升到0.5分数从90.48升到90.59，继续升到1.0则显著掉到89.83——视觉token预测权重不宜过高；固定λ1=0.5，λ2从0.1升到0.2、0.5、1.0，分数从90.59一路降到90.16。预训练阶段同时引入视觉token预测（λ1=0.5）与潜变量运动（λ2=0.1）对轨迹的引导最有效。协同微调阶段，λ3从0.05升到0.1分数从90.47升到90.59，说明适当监督能防止潜空间语义坍缩；但继续升到0.2和1.0，分数掉到90.01和89.75——过强监督反而阻碍模型自主学习与动作生成最相关的潜变量语义。
总结 & 未来工作
我们提出了一个混合自动驾驶世界模型，它把像素级方法的细粒度时空建模与潜变量方法的噪声鲁棒性结合了起来。像素级重建保留了详细的空间与动态信息，而VAE空间中的潜变量预测则天然地提升了抗噪能力。在NAVSIM v1/v2上的实验表明，我们的方法达到了最先进的性能，并在雨雾腐蚀输入上得到了进一步验证。局限性与未来工作包括：把基于单目的框架扩展到多模态传感器，以及加强潜变量动态与关键交通元素之间的耦合。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
