上海交大联合阿里巴巴发布 LA4VLA，提出 Language-Action Pretraining，试图解决 VLA 训练中的一个核心问题：模型是否过度依赖视觉捷径，而没有充分学习语言如何指导动作。
VLA 模型把视觉、语言和动作连接在一起，是当前机器人操作学习的重要范式。给定场景图像和语言指令，模型直接预测机器人下一步动作。
但这套流程中，视觉信息往往太强。目标位置、物体外观、空间布局都在图像里，模型可能直接利用这些线索完成动作预测，形成“看图做事”的捷径。
LA4VLA 的思路是：先把语言-动作学习从视觉条件中解耦出来，在预训练阶段暂时去掉视觉输入，让模型只根据语言和机器人状态学习连续动作。
这样做不是为了让机器人最终不看图，而是为了让模型在接入视觉之前，先学清楚语言描述如何对应动作执行。
VLA 为什么可能被视觉捷径带偏？
标准 VLA 预训练通常来自机器人示范轨迹。一条轨迹包含连续视觉观测、机器人状态、动作序列，以及一条自然语言任务指令。
模型根据视觉和语言预测动作，但视觉、语言和动作提供的监督信号并不均衡。
视觉和动作是逐帧变化的密集信号，一条轨迹可以产生大量 visual-action 或 state-action 对。语言通常只有一句高层任务描述，并在整条轨迹中保持不变。
比如 “clean the table” 可能包含靠近、抓取、移动、放置等多个动作阶段，但这些阶段没有逐一对应的语言标注。
同时，图像会被编码为大量 visual tokens，而语言指令只占少量 tokens。训练时，模型很容易先利用视觉中更密集的控制线索。
因此，VLA 在标准输入下能完成任务，并不一定意味着它真正学到了语言-动作关系。它可能只是通过视觉捷径完成了预测。
LA4VLA 关注的正是这个问题：如何让语言-动作监督不再被视觉线索盖住。
诊断实验：语言和视觉冲突时，模型会如何选择？
作者设计了 instruction-conditioned direction following 实验。实验固定语言指令，只改变视觉输入，观察模型预测轨迹是否仍然符合语言指定方向。
实验使用方向明确的原子动作指令，例如 “move upward to approach the target” 和 “move downward to approach the target”。视觉输入包括原始配对视觉、无视觉、同场景不匹配视觉，以及来自相反方向动作片段的冲突视觉。
在原始配对视觉下，模型能够产生较清晰的方向轨迹，表面上看起来可以跟随指令。
但当视觉被去除、替换，或与语言方向冲突时，模型预测会明显变得不稳定。尤其在冲突视觉中，模型更容易偏向视觉暗示的方向。
量化结果同样显示，direction following 在无视觉、不匹配视觉和冲突视觉下显著下降，冲突视觉还会导致反向偏移。
这说明，标准 VLA 训练中的语言-动作关系可能并没有被充分学习，而是被更强的视觉信号遮蔽。
LA4VLA 如何训练？
LA4VLA 将 Language-Action Pretraining 从标准 VLA Pretraining 中拆分出来，作为独立训练阶段。
在常规 VLA pretraining 中，视觉观测、语言指令和机器人状态共同输入模型，模型预测动作。视觉 grounding 和动作学习从一开始就耦合。
在 LA pretraining 中，模型暂时去掉视觉输入，只能依靠语言指令和机器人状态预测连续动作轨迹。它不能使用图像中的目标位置、物体外观或背景布局。
这里的语言监督并不是简单动作类别，而是低层动作描述与连续动作轨迹之间的对应。
例如，“Lower the object downward toward the target while holding it” 对应持物向目标方向下放；“Transport the object to the right while holding it” 对应持物向右移动；“Open gripper to release and place the object onto the target surface” 对应释放并放置。
这些描述包含方向、夹爪状态、持物状态和局部物理效果，同时尽量不绑定具体场景。模型学到的是可迁移的语言-动作规律。
因此，LA4VLA 不是简单增加数据，而是重新定义了一种可以独立使用、也可以和 VLA pretraining 互补的预训练信号。
LA-33K：把完整轨迹拆成局部动作监督
为了支持这种预训练，作者构建了 LA-33K。它不需要额外采集机器人示范，而是从已有 VLA demonstrations 中重新组织得到。
完整机器人轨迹通常只有一条高层任务指令，但内部包含多个短时局部动作阶段。LA4VLA 将长轨迹切分为 atomic action segments，并为每个片段生成低层动作描述。
数据构建流程包括关键帧检测、原子动作类别约束、VLM temporal segmentation 和人工核验。最终 LA episodes 覆盖 move、grasp、lift、transport、place、reorient、lower 等常见操作。
LA-33K 包含 33,116 条人工核验的 Language-Action episodes，共 1,524,990 帧，平均每条 episode 为 46.05 帧。相比原始长轨迹，这些片段更短、更局部，语言描述也更贴近动作执行。
通过 LA-33K，原本隐藏在完整示范中的 language-action supervision 被显式提取出来，成为可以单独训练、分析和组合使用的数据。
实验结果：语言-动作预训练带来的提升
作者在 MetaWorld、LIBERO、跨架构设置和真实机器人任务上验证 LA4VLA。
在 LA4VLA-1B 上，单独 LA pretraining 已经带来明显提升：MetaWorld 平均成功率从 69.73% 提升到 83.00%，提升 13.27 个百分点；LIBERO 从 92.85% 提升到 95.30%，提升 2.45 个百分点。
将相同 LA pretraining protocol 应用于 StarVLA，也能带来收益：MetaWorld 从 58.39% 提升到 69.91%，LIBERO 从 93.70% 提升到 94.85%。
真实机器人实验中，Press Button、Place Book 和 Place Drink 三个任务的平均成功率从 38.3% 提升到 81.7%。这说明，暂时去掉视觉输入阶段学到的语言-动作规律可以迁移到真实视觉条件下。
LA pretraining 也优于 matched VLA pretraining。在相同原子动作片段上，保留视觉输入做 VLA pretraining 时，MetaWorld 为 79.78%，LIBERO 为 94.40%；暂时去掉视觉输入做 LA pretraining 后，分别达到 83.00% 和 95.30%。
LA supervision 还能与 VLA supervision 形成互补。在 MetaWorld 上，No pretrain 为 69.73%，LA 为 83.00%，LA-VLA 为 86.75%，MixPT 达到 87.53%。在 LIBERO 上，No pretrain 为 92.85%，LA 为 95.30%，MixPT 为 95.75%，LA-VLA 达到 96.28%。
在视觉扰动下，平均成功率从 No pretrain 的 27.5% 提升到 LA 的 67.5%，MixPT 进一步达到 70.0%。这说明，语言-动作规律有助于提升策略面对视觉变化时的稳定性。
总体来看，Language-Action Pretraining 既可以独立提升模型，也可以与标准 VLA pretraining 互补。
模型内部表示有什么变化？
除了任务成功率，作者还分析了 LA pretraining 对模型行为和内部表示的影响。
方向跟随实验显示，LA pretraining 后，即使没有视觉输入，模型仍能根据语言指令生成方向清晰分开的轨迹。
t-SNE 可视化也显示，标准 VLA-trained policy 的不同方向指令表示容易混在一起，而 LA-pretrained policy 会形成更清晰的方向聚类。
这说明 LA pretraining 不只是提高下游成功率，也让模型形成了更明确的 instruction-conditioned representation。
主要贡献
LA4VLA 的核心贡献，是提出并验证 Language-Action Pretraining 可以从标准 VLA Pretraining 中解耦，并作为独立有效、可互补的预训练范式。
1、提出 LA4VLA，一种 vision-agnostic language-action pretraining framework，通过暂时去掉视觉输入，显式学习语言如何约束动作执行。
2、构建 LA-33K 数据集，包含 33,116 条人工核验的 Language-Action episodes，从已有 VLA demonstrations 中提取隐含的语言-动作监督。
3、系统研究 LA-only、sequential LA-to-VLA 和 mixed LA-VLA pretraining，验证 LA supervision 的独立效果和互补价值。
4、在 MetaWorld、LIBERO、StarVLA 跨架构实验、真实机器人任务、视觉扰动鲁棒性实验，以及方向跟随和表示分析中验证方法有效性。
小结
LA4VLA 并不是要让机器人最终不看图。真实机器人仍然需要视觉来理解环境和目标。
它强调的是：训练阶段如果过早把视觉、语言和动作完全耦合，模型可能走向视觉捷径，看图做事。暂时去掉视觉输入，可以让模型更集中地学习语言如何驱动动作。
Learning to Act without Seeing，最终是为了更好地 Seeing and Acting with Language。
论文标题：LA4VLA: Learning to Act without Seeing via Language-Action Pretraining
项目主页：https://github.com/MINT-SJTU/LA4VLA
往期文章回顾
