机器人端杯子之前在想什么？Afford-VLA：先找到杯子最趁手的那块区域

Afford-VLA团队 投稿 
量子位 | 公众号 QbitAI

机器人要真正会干活，不能只知道“看见了什么”，还要知道“该从哪里下手”。

在复杂操作场景中，真正关键的往往不是识别出物体，而是找到与当前任务相关的可交互区域。

比如让机器人“拿起杯子放到盘子里”，模型不仅要识别杯子和盘子，还要判断杯子的哪里适合抓、盘子的哪里适合放，以及当前动作应该聚焦在哪个局部区域。

这正是当前许多视觉-语言-动作模型（Vision-Language-Action，VLA）仍然容易犯错的地方：语义理解虽强，但空间交互理解仍然不够精细。

为了解决这个问题，来自复旦大学、阿卜杜拉国王科技大学、上海交通大学和华东师范大学的研究团队提出了Afford-VLA。

这是一个将可供性（affordance）内化进VLA系统内部的全新视觉规划框架。它让模型自己生成任务相关的交互区域，并把这些局部视觉线索直接送进动作生成模块。

换句话说，Afford-VLA试图让机器人从“看完整张图再猜动作”，走向“先找出当前任务该交互的位置，再生成动作”。

论文已上线arXiv，代码已开源。

VLA会认物体，还不够会“找下手点”

过去几年，VLA模型已经成为通用机器人操作的重要路线。

这类模型通常接收视觉观察和语言指令，然后直接输出机器人动作。得益于大规模视觉语言模型的发展，VLA在语义理解、指令泛化和跨任务迁移上取得了很大进展。

但机器人操作还有一个更“物理”的难题：

知道物体是什么，不等于知道该在哪里交互。

人类听到“打开微波炉”，会自然看向把手；听到“把叉子放进碗里”，会关注叉子可抓的位置和碗内可放置区域；听到“拿起锅盖”，会定位锅盖把手，而不是整张桌面。

对机器人来说，这种能力就是空间交互理解：把语言任务落到视觉场景中的具体可操作区域。

论文将其放在VLA的视觉规划（visual planning）问题中重新审视：一个适合VLA的视觉规划范式，应该帮助模型回答where to interact。

已有路线大致可以分为三类。

几何路线会引入深度、点云或多视角空间信息，但往往更偏全局场景理解；符号路线会把空间信息转成文本、关键点或结构化token，但这种指导仍然较为间接；视觉接地路线会使用点、框、轨迹或mask等局部信号，不过不少方法依赖外部感知模块，或者只把区域定位作为独立监督目标，与最终动作生成耦合不够紧。

Afford-VLA的判断很直接：

VLA需要的视觉规划，不应该只是额外提示，而应该成为模型内部可学习、可解释、可被动作头直接消费的能力。

为此，作者提出：适合VLA的视觉规划应该具备四个特性：

• 它应该是local的，能聚焦任务相关的局部区域；
• 它应该是visually grounded的，直接围绕图像中的视觉证据；
• 它应该是internally generated的，由VLA内部生成，而不是级联外部模型；
• 它还应该是action-aligned的，能直接服务于下游动作决策。

而affordance，正是一个天然适合承载这些目标的表示。

它描述的不是“物体是什么”，而是“在当前任务下，哪里对动作有用”。

Afford-VLA：把affordance做成VLA内部接口

Afford-VLA的核心思路，可以概括成一句话：

把任务条件affordance内化为VLA的显式视觉规划接口。

它不是先用一个外部模型生成mask，再把结果喂给策略；也不是只训练一个affordance分支用于可视化。

在Afford-VLA中，affordance的生成、使用和优化都发生在VLA系统内部，并且直接参与动作预测。

整个框架主要包含三步。

第一步：用query主动寻找交互区域

Afford-VLA在原有图像token和语言token之外，引入了一组可学习的query。

这些query会和视觉、语言信息一起进入VLM backbone，在同一套注意力机制中完成融合。

直观地说，query就像一组“交互区域探针”：它们根据当前图像和任务指令，主动聚合与操作区域相关的信息。

随后，Affordance Head将这些状态与图像patch特征结合，解码出patch级affordance logits，也就是每个视觉patch对当前任务的可操作程度。

这样，模型内部就形成了一个明确的视觉规划信号：当前任务下，机器人应该重点关注哪些局部区域。

第二步：用mask pooling把“看哪里”变成“怎么动”的条件

只预测出affordance mask还不够。

机器人最终需要的是动作，而不是一张热力图。

因此，Afford-VLA会根据预测出的affordance logits，选出最相关的一小部分视觉patch，并将这些局部视觉特征聚合成紧凑的affordance embedding。

这个embedding会被拼接到VLM的隐藏状态后面，一起送入动作生成头。

也就是说，动作头拿到的不只是整张图的全局语义表示，还额外获得了一个明确的局部交互提示：

当前任务真正应该看的地方，在这里。

这一步让affordance不再是独立的感知输出，而是变成动作生成可以直接消费的内部条件。

第三步：让动作损失反过来塑造affordance

Afford-VLA最关键的设计在于，它不只是让affordance“看起来对”，还希望它“对动作真的有用”。

为此，框架使用了Straight-Through风格的Top-K mask pooling。

• 前向传播时，模型仍然进行稀疏的Top-K选择，只把最相关的局部patch送给动作头，从而保留清晰、聚焦的交互区域。
• 反向传播时，则使用可微的软替代梯度，让动作预测损失能够反向更新affordance logits和Affordance Head。

这意味着，affordance分支不仅受到mask监督，也会被下游动作目标共同优化。

简单来说：

模型学到的affordance，不只是“哪里像交互区域”，而是“哪些区域真的能帮助机器人把动作做好”。

这也正是论文标题中Action-Aligned Visual Planning的含义。

从外部感知到内部能力

Afford-VLA与此前许多affordance-based方法的区别，不在于“有没有affordance”，而在于affordance如何进入VLA。

过去常见做法是：先用外部模型预测交互区域，再把结果作为额外输入或辅助信号提供给策略。

这种方式虽然直观，但感知和控制仍然是分离的。外部affordance模块并不知道最终动作头真正需要什么；而一个视觉上看起来合理的affordance，也未必最有利于动作生成。

Afford-VLA则把affordance放进了VLA的内部计算路径中。

它由query在模型内部生成，由Affordance Head解码成局部mask，再通过mask pooling转换为动作头可消费的embedding。更重要的是，动作损失还能通过Straight-Through路径反向影响affordance分支。

这样，Afford-VLA在感知和行动之间建立起一条更紧密的闭环：

视觉规划不是外部插件，而是动作生成链路中的内部接口。

这也让模型更接近机器人操作真正需要的能力：先在视觉空间中找到任务相关的交互区域，再围绕这些区域生成动作。

多个基准拿下SOTA，空间与泛化性表现突出

实验部分，团队在多个仿真基准和真实机器人任务上验证了Afford-VLA的有效性。

在标准语言条件机器人操作基准LIBERO上，Afford-VLA取得了当前表格中最优的平均成功率，并在Spatial、Object、Goal、Long等任务组上都表现稳定。

这说明，将affordance内化为动作对齐的视觉规划接口，确实能够提升VLA在空间关系、目标定位和长程操作中的表现。

更值得关注的是，在更考验分布偏移的LIBERO-Plus上，Afford-VLA也展现出较强鲁棒性。面对视角、光照、背景、噪声和物体布局等多类扰动，Afford-VLA依然保持稳定表现，说明模型并非记忆固定场景，而是能够根据当前图像和指令重新定位任务相关的交互区域，展现出较强的空间定位和鲁棒泛化能力。

在更贴近真实桌面操作的SimplerEnv中，Afford-VLA也取得了整体最优的平均表现，说明其在更接近真实桌面操作的场景中，Afford-VLA也具备较强的空间定位能力。

消融实验：关键在于“内部生成+动作对齐”

消融实验表明，Afford-VLA的提升并不来自简单“加一个mask”，而来自“内部生成+动作对齐”的整体设计。相比外部affordance或独立辅助监督，Afford-VLA将affordance放进VLA内部计算路径，并让动作损失参与优化，使其更贴近真实控制需求。

同时，Sparse Top-K Straight-Through Patch Pooling兼顾了局部聚焦和梯度传递：前向保留稀疏的关键区域读出，反向允许动作目标更新affordance分支，让mask真正成为动作生成链路中可学习、可优化的接口。

结语：给VLA补上一块空间交互拼图

Afford-VLA试图回答一个核心问题：适合VLA的视觉规划范式，究竟应该是什么样的？

这项工作给出的答案是：它应该具备Local、Visually Grounded、Internally Generated、Action-aligned四个特性。

基于这一判断，Afford-VLA选择affordance作为视觉规划接口，将“哪里能操作”从外部提示转化为VLA内部可学习的能力。对于机器人操作而言，这意味着模型不再只依赖全局视觉语义来隐式猜测动作，而是能够在当前任务下显式定位真正可交互的区域。

从“看见世界”到“看懂该从哪里下手”，这或许正是下一代具身智能模型需要补上的关键一步。

论文标题：Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance
论文链接：https://arxiv.org/abs/2605.24203
项目地址：https://github.com/RZkiller/AffordVLA