按下台灯按钮与按下显示器电源键，都要求通过局部按压改变设备状态；转动水龙头把手与转动洗碗机旋钮，都要求对功能部件施加方向合适的旋转。
这些任务看起来各不相同，却可能依赖相似的接触方式与操作规律。
对灵巧手来说，真正的通用能力不只是重复演示过的动作，而是能否把已有任务中学到的交互经验，迁移到一个相关但没见过的新任务。
然而，怎样公平地测量这种迁移？如果新任务给了大量示范，模型或许只是在记忆；如果源任务和目标任务相差太远，结果又难以说明模型是否学会了可复用的操作规律。
为此，上海交通大学联合国内多所高校提出 ——
Evo-DexBench：一个面向灵巧操作相关任务泛化能力的基准。
以 Core-Gen 设计刻画迁移关系
Evo-DexBench以共享功能交互的任务族为单位组织评测。每个任务族包含4个 Core 源任务和1个 Gen 目标任务：Core 提供多样但功能相关的操作经验，Gen 则要求模型把这些经验用于新的任务，而且每个 Gen 任务只提供8条示范。
比如，模型同时接触不同物体上的旋转操作，并面对目标任务的洗碗机旋钮；它需要理解“稳定接触并旋转功能部件”，而不是照搬某一条轨迹。
基准共包含30项任务，覆盖按钮操作、旋转操作、访问并取放、结构化摆放、装配和关节结构控制六类交互，前三类是单手任务，后三类是双手协作任务。并且访问并取放是单手长程任务，结构化摆放是双手长程任务。
这样的设计让评测从单纯的任务完成率，进一步追问模型能否利用相关任务经验。
任务数据与触觉评测条件
为了支持系统评测，我们搭建了仿真环境和基于 Quest 3 的 VR 遥操作数据采集流程。
每项任务都在三种日常场景布局中执行；数据集包含1,248条成功的多模态示范轨迹。我们为Shadow Hand 每只手配置123个触觉 taxel，可记录接触法向力，并与视觉、深度和本体状态等观测共同构成统一接口。
Evo-DexBench还覆盖场景、相机、光照、物理属性和空间条件的变化，并提供可复用的任务接口与评测协议。
研究者因此可以在一致设置下比较不同策略，也可以进一步研究示范数量、源任务相关性以及触觉输入对操作表现的影响。
实验显示相关任务有帮助但迁移仍然很难
我们在按钮操作、旋转操作和双手关节结构控制三个功能族的15项任务上评测了五类代表性策略。
标准评测中，表现最好的方法DP-C平均成功率为38.5%，说明现有策略距离稳定复用跨任务的功能交互知识还有明显空间。
π0.5和KineDex也接近这一水平，不同策略各有擅长的任务族，没有一种方法始终领先。
源任务与目标任务的功能匹配程度会直接影响迁移效果。以DishwasherKnob为例，π0.5加入匹配的旋转类Core后，成功率从Gen-only的36%升至46%；加入功能不匹配的按钮类或取放类Core时，成功率分别为40%和32%。
在DP-T和KineDex上，匹配的旋转类Core也整体优于功能不匹配的源任务，在成功率或阶段性得分上取得更好表现。
触觉实验则显示，加入完整触觉感知与力反馈路径后，十项旋转和关节结构控制任务中有七项成功率提高；两个任务族的平均成功率分别增加3.8和2.2个百分点。
收益会随任务而变，接触丰富、依赖持续或精确接触的操作更可能从触觉中受益
目标适配时持续保留 Core 数据更有效
以π0.5在两个目标任务上的策略对照为例，持续联合训练Core与Gen数据优于先用Core训练、再单独对Gen微调。
联合训练在DisplayPowerButton和DishwasherKnob上分别高出12和38个百分点，也优于只用Gen数据训练。
结果说明，在目标适配过程中继续利用相关Core数据，可能比只把它用作初始化更有效。
建立可迁移灵巧操作的共同评测基准
建立可迁移灵巧操作的共同评测基准Evo-DexBench把“源任务与目标任务是否相关”“目标示范是否足够少”纳入统一设计，帮助研究者更直接地检验模型学到的是可复用的交互规律，还是对单项任务的记忆。
我们希望
这一基准及其数据、仿真环境和遥操作流程，能推动灵巧操作研究从逐项攻克任务，走向在相关任务之间积累并迁移能力。
往期文章回顾
