设想这样一个场景：给机器人下达一句自然语言指令，让它穿过走廊、接连转弯，最终走进指定房间。视觉语言导航（VLN），需要让机器人结合沿途看到的画面，把人类的语言指令转化为一连串连续行动。
现有多数 VLN 方法会引入专门的空间推理模块、图结构建模或分层决策系统来增强导航能力，但多模态大模型本身自带的导航潜力，究竟能不能被充分激活，还有待深入探索。复旦大学与新加坡南洋理工大学团队开辟了新的研究思路：能不能不改动多模态大模型的核心结构，也不新增专门的导航模块，仅靠巧妙的决策设计与训练流程，充分发挥模型原生能力，完成导航任务？
论文标题：SimpleVLN: Towards Simple and Frontier Vision-Language Navigation With Native MLLMs
作者：Lingyi Hong, Weiren Cai, Jiayu Chen, Xinyu Zhou, Bailin He, Yunfei Guo, Qiao Sun, Xiang Liu, Boyu Ma, Jianfei Yang, Wenqiang Zhang
机构：复旦大学，新加坡南洋理工大学，联想研究院
论文链接：https://arxiv.org/pdf/2610.23203v1
项目主页：https://simplevln.github.io/
代码仓库：https://github.com/simplevln/SimpleVLN
图 1｜SimpleVLN 的研究问题与两项导航基准上的表现。
给机器人看什么，又该让它怎么走？
机器人转过一个弯后，眼前的画面可能已经与之前截然不同。此时，它既需要判断自己当下的位置，还要结合之前看到的画面，规划后续行进路线。
不过历史画面并非存得越多越好：全部保存会不断拉长输入；只保留最近几帧，又容易丢失早前的路线信息。
SimpleVLN 把每一次模型调用都当作一次独立决策，输入包含导航指令、当前画面以及筛选后的历史观测，不会持续累积过往对话与动作。针对历史图像，团队采用全局 + 局部的组合策略：从早期观测里均匀采样，同时保留最新一帧画面。
消融实验证明，把所有历史图像全部输入并不会提升效果；对全局历史做均匀采样反而效果更佳，继续增加局部帧也无法继续提高导航成功率。
图2｜历史帧和局部帧数对导航性能的影响。
由此可见，重点不在于输入多少历史图像，而是如何利用有限画面，保留关键路线信息。
在动作输出上，模型每次预测一段有序的基础动作，交由环境依次执行，称为动作块（Action Chunking）。实验中，动作块将导航成功率从 45.6% 提升到 53.6%。这说明，如何组织一次决策所使用的信息，以及一次推理所输出的动作，都会影响连续导航表现。
图 3｜SimpleVLN 根据导航指令、当前画面与选出的视觉历史，直接预测一组连续动作。
走偏了？偏离的轨迹也能用于训练
监督微调（SFT）让模型从专家示范中学习导航动作。但在真正执行任务时，机器人很容易走出和专家示范不一样的路线，遇到示范数据里没有见过的场景。如果只学习固定的专家轨迹，很难覆盖这些意外情况。
SimpleVLN 通过 DAgger 算法，将模型策略产生的轨迹纳入训练数据构建过程。研究团队根据策略轨迹与真实轨迹之间的偏离程度进行筛选：偏差较大时，使用专家轨迹做指导；偏差较小时，则保留模型自身生成的轨迹。随后，这些轨迹被转换为决策级监督样本，与原有专家示范合并，用于继续训练模型。
在结合 R2R、RxR 和 ScaleVLN 示范数据后，DAgger 让模型在 R2R-CE 数据集上成功率从 57.9% 提升至 65.4%，RxR-CE 上从 55.3% 提升至 63.4%。
训练数据不再局限于固定专家示范，纳入模型自身探索轨迹，大幅增强了模型的纠错能力。
表 1｜专家示范覆盖与 DAgger 数据的对照。模型执行经验带来表中最大的成功率增幅。
让机器人实地交互，导航能力还能再上一层楼
SFT 和 DAgger 依靠动作监督信号训练模型，但这种方式有局限：哪怕模型走出了一条和专家完全不同、却能顺利抵达终点的路线，单纯比对单步动作是否匹配参考轨迹，无法评判决策好坏。
导航任务的核心目标，是能否完整走完任务、抵达终点。一次转弯会改变后续视野，一整套动作共同决定机器人最终位置。SimpleVLN 因此进一步引入强化学习 (RL)：不再局限于教模型每一步应该怎么走，而是让模型在仿真环境中实际完成任务，再根据最终结果调整策略。
研究团队先构建全新导航任务：在导航场景中设置不同起点与目标房间，依托多模态模型，结合沿途转角、房间、标志性物体和第一视角画面，生成配套的自然语言导航指令。
在这些新任务中，模型通过动作块与环境持续交互，根据指令、当前画面和历史观察连续作出决策，直到任务结束。训练则根据整段导航是否成功完成来提供反馈。
在新任务中，模型借助动作块与环境持续交互，根据指令、当前画面和历史观测持续决策直到任务结束。训练反馈以整段导航任务结果为准：评判机器人能否停在目标附近，任务成功得 1 分奖励，失败则为 0。模型不必复刻专家路线，只要顺利到达目的地，就算路线不一样，同样可以获得正向奖励。
这也改变了模型学习导航的方式。模型需要通过多次策略执行产生的任务结果，在后续优化中逐步调整动作选择。
图 4｜专家示范、模型执行经验与新生成的导航任务，依次进入 SimpleVLN 的训练流程。
任务结果提供的反馈带来了进一步提升。以 Qwen3-VL 4B 模型为例，经过 DAPO 强化学习优化后，R2R-CE 的成功率从 65.4% 提高到 73.8%，RxR-CE 从 63.4% 提高到 75.1%，分别增加 8.4 和 11.7 个百分点。
不改核心架构，依旧实现优秀导航性能
研究团队将 SimpleVLN 适配多款不同参数量的多模态大模型。在 R2R-CE、RxR-CE 的未见过环境测试中，Qwen3.5 9B 取得 76.7%、80.1% 的导航成功率，相比 Qwen-RobotNav 8B，两项指标分别高出 4.6 和 3.6 个百分点。
表 2｜R2R-CE 与 RxR-CE 未见环境验证集上的结果；† 与 * 分别对应 RL 前后。
推理效率方面，在保持较高导航成功率的同时，SimpleVLN 也具备较低的推理延迟。基于 Qwen3-VL 4B 的 SimpleVLN 在 NVIDIA A100 上，每次动作块决策的模型执行时间为 293 毫秒，与流式导航方法 StreamVLN 延迟相近。
表 3｜相同 A100 上的模型推理时间与导航表现。
走进现实，实体机器人听懂语言指令导航
除了仿真环境中的评测，研究团队还将 SimpleVLN 部署到四足机器狗上。机器狗可以依据多步指令完成直行、转弯、进入房间，并在目标附近停下的过程，并且展现出强大的泛化能力。
任务一：沿走廊前进，左转后进入第一个房间。
任务二：向前走，左转后继续前进，停在黄色立柱旁。
总结
SimpleVLN 的核心思路，不是给多模态大模型叠加复杂的专用网络结构，而是通过精巧的决策设计、融合模型自探索轨迹的训练数据，加上环境交互式学习，充分释放原生多模态大模型的连续导航能力。该框架依托观测筛选、动作块决策，搭配三阶段训练方案，无需改动模型主干，就能在仿真任务取得优异效果，部署到实体四足机器狗后，在真实导航场景下也有着强大泛化能力。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
