作者 / 张钰
论文题目: YOCO: You Only Calibrate Once! Fast Mocap Calibration for Dexterous Teleoperation
作者：Zhang, Yunqi Li, Yushi Du, Yi Ma, Yanchao Yang
机构：香港大学、忆生科技、深圳河套学院
会议：CoRL 2026
论文地址：arxiv 2610.11657
项目主页：franklin-zhang0.github.io/YOCO
在灵巧手遥操作中，动作捕捉手套记录人的手指位置，机器人手再根据这些信息跟随人的动作。然而，低成本动捕手套容易受到个体差异和佩戴状态的影响。即使操作员做出同样的捏合动作，手套输出的三维关节位置也可能出现偏移。这些误差经动作重定向传到机器人端，会改变指尖的接触位置，让原本简单的抓取也变得困难。更换操作员、调整手套松紧，甚至重新开始一次采集，偏差都可能随之变化。
针对这一上游误差，香港大学、忆生科技（TranscEngram）和深圳河套学院的研究人员提出 YOCO，一种面向三维关键点的少样本会话校准方法。（这里的“会话”，指同一位操作员在手套佩戴状态基本不变时完成的一段连续采集。）YOCO 只需少量原始姿态与目标姿态的配对样本，就能直接生成适用于当前会话的估计器参数更新，部署时无需进行梯度微调，从而减少灵巧手遥操作前的校准和适配工作。忆生科技为项目提供了数据采集与实验硬件支持。
把校准定义在三维姿态层面
YOCO 接收手套已经输出的手部关节位置，再利用少量配对姿态校正其中的偏差。既有方法通常嵌入特定感知流程，例如拟合手套信号到姿态的映射，或修正 IMU 对齐与漂移。YOCO 接收设备已输出的21个三维关节关键点，以同一会话中的少量原始/目标姿态对为校准信息。
这一问题定义将姿态校正与设备专用的原始信号处理分开，目标是由少量姿态推断当前会话的偏差，并修正后续未参与校准的观测。模块可接在已有追踪与重定向之间；论文的真实设备实验目前覆盖一种低成本拉伸式手套。
四组配对姿态，完成一次会话校准：YOCO 适用于会话内偏差相对稳定的设置。重新佩戴手套或偏差发生明显变化时，可能需要重新校准。
从配对姿态生成会话专属的 LoRA 权重
YOCO同时提出了校准 HyperNetwork 与冻结 MANO 估计器之间的适配机制（前者生成校准参数，后者用这些参数校正手部姿态）。HyperNetwork 编码原始/目标姿态对，使用校准 Transformer 聚合配对信息，并由 LoRA 参数解码器生成低秩更新。更新注入基础权重保持冻结的 MANO 估计器，再经手部运动学得到校准后的关节位置。
模型根据以往学到的偏差规律，结合当前几组配对姿态，为本次采集生成校准参数。共享 LoRA 初始化对不同会话使用同一组参数，集合条件残差模型直接修正姿态输出；YOCO 则生成估计器的更新。生成与注入只在会话开始时执行一次，后续动捕帧复用紧凑估计器，整个部署适配过程无需梯度优化。
模型先在干净的 InterHand2.6M 数据上训练 MANO 估计器，再冻结其基础权重，用序列内相对稳定的合成偏差训练 HyperNetwork。校准姿态与查询帧分开采样，训练损失来自查询帧的校准误差，使生成器学习如何由少量样本校正同一会话的新姿态。
验证精度、适配成本和实物遥操作
实验部分完成了跨合成数据、真实手套和实物任务的系统验证。默认K=4时，增强 InterHand2.6M 的 PA-MPJPE（对齐后的平均手部关节位置误差，数值越小越准确，并非机器人抓取定位误差） 从未校准的16.55 mm降至10.45 mm，相对降低36.9%；相同适配器容量的 LoRA 微调为11.67 mm。附录B进一步比较共享 Meta-LoRA 先验和集合条件残差预测，分别为13.94 mm和12.66 mm，支持从当前姿态对生成会话权重的作用。
在4名用户的真实手套数据中，同步的 Apple Vision Pro 姿态作为参考。YOCO 的 PA-MPJPE 从未校准的14.63 mm降至13.14 mm；共享 Meta-LoRA 先验和集合条件残差预测分别为13.51 mm和13.74 mm。MPJPE 从20.49 mm降至17.75 mm。两组数据共同检验了会话权重生成的校准效果。
CPU 部署实验中（测试平台为双路 Intel Xeon Platinum 8468V 服务器，内存 2.0 TiB，仅使用 CPU 计时），YOCO 的平均校准计算耗时为 13.16 s，LoRA 微调为 59.58 s，全参数微调为 223.25 s。这里计量的是部署前的计算过程，不包括操作员采集校准动作所需的时间。论文主表中的 H100 耗时则是整个验证集或数据集的汇总值，不能解读为单次用户校准延迟。
实物遥操作覆盖拧开瓶盖、捏取耳机、三指抓取胶水瓶和打开纸巾盒。每项任务、每种方法进行 10 次评测，YOCO 流程的整体成功率为 90%，LoRA 微调为 65%，未校准流程为 35%。其中，耳机捏取由未校准的 0/10、LoRA 微调的 1/10，提升到 YOCO 的 8/10。任务使用拇指与中指捏合，而校准库中的捏合动作使用食指，展示了对未直接出现在校准动作中的指尖配置的迁移能力。
YOCO 适用于会话内偏差相对稳定的设置。重新佩戴手套或偏差发生明显变化时，可能需要重新校准。实物实验由两名操作员完成，各校准条件也分别训练了重定向模型，所以 90% 反映整套校准与重定向流程的表现，尚不能将全部提升单独归因于校准模块。
对灵巧手示教采集而言，这项工作的价值在于让低成本动捕设备输出更可信的手部状态，并减少新会话启动时的优化过程。它为改善具身智能数据采集的上游质量提供了一条可验证的技术路径。
-END-
点击下方卡片，关注【Xbotics具身智能实验室】公众号
你想要的这里都有~~
Ask Me Anything｜提问箱
对文章有疑惑，或想聊更深？欢迎把你的问题丢给我们：技术方案、实操踩坑、课程与资料、项目合作、职业发展，都可以问。
怎么问：在评论区留言，或私信公众号
我们会做什么：每周集中整理高质量问题并公开回复，重点问题邀请作者或嘉宾深度解答；典型问题会加入知识库并持续更新。
提问小提示：尽量说明「你的目标—当前做法—期望产出」，附上必要信息（硬件/软件版本、数据规模等），能更快获得有用答案。
一起把问题变成知识，推动社区进步 🚀
