点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！
灵巧抓取（Dexterous Grasping）是机器人迈向通用操作能力的关键门槛。与人手的多自由度灵活性相媲美，多指灵巧手能够在复杂 cluttered 环境中以高度自适应的方式抓取各种形状、材质和尺寸的物体。然而，训练一个鲁棒的灵巧抓取策略需要海量的真实世界数据——这些数据必须记录每次抓取尝试的物理结果，因为只有真实的接触动力学才能教会模型什么是"抓得稳"、什么是"会滑落"。
真实世界灵巧抓取数据为何如此稀缺？遥操作太慢、仿真太假，我们能否让数据收集 itself 也自动化？ 遥操作虽然能够提供有效的物理结果，但速度缓慢且带有强烈的操作者偏差；仿真生成虽然廉价且可扩展，却无法保证接触有效性，仿真中完美的抓取在真实硬件上往往一碰就碎。一个自然的解决方案是让候选抓取在真实机器人上自动执行并验证，但这要求整个收集循环——感知、执行、标注、重置——完全无人干预。如何构建这样一个全闭环的自动化系统，一直是机器人学习领域悬而未决的重大工程挑战。
首尔国立大学与RLWRLD的研究团队直面这一挑战，推出了AutoDex——一个从感知到重置全流程自动化的真实世界灵巧抓取数据收集系统，以碾压级的效率革新了数据收集范式。
首尔国立大学与RLWRLD联合提出的AutoDex系统，首次实现了真实世界灵巧抓取数据收集的完全自动化闭环。系统集成了20摄像头密集感知、碰撞监控运动执行、物理成功/失败自动标注和主动物体重置四大核心模块。在100个多样化物体上成功收集3593次抓取试验，在500次匹配试验收集中，AutoDex仅需10.3小时，相较遥操作的49.4小时实现4.8倍 throughput 提升。更重要的是，经AutoDex物理验证的数据库抓取成功率高达76%，远超仅仿真验证的34%，碾压了传统数据收集模式。
论文信息
标题：AutoDex: An Automated Real-World System for Dexterous Grasping Data Collection
作者：Mingi Choi, Gunhee Kim, Jisoo Kim, Taeksoo Kim, Taeyun Ha, Jongbin Lim, Hanbyul Joo
机构：Seoul National University (SNU), RLWRLD
原文链接：https://arxiv.org/abs/2606.23689
代码链接：https://willi19.github.io/AutoDex/
导读
学习鲁棒的灵巧抓取需要记录抓取尝试物理结果的真实世界数据。这类数据难以大规模获取：遥操作虽能产生有效的物理结果，但速度慢且带有操作者偏差；基于仿真的生成虽然廉价且可扩展，却无法验证接触有效性。一个自然的解决方案是生成候选抓取并在真实硬件上验证，但这只有在整个收集循环（感知、执行、标注和重置）无需人工干预时才能实现规模化。本文提出AutoDex，一个自动化的真实世界数据收集系统，完整闭合了这一循环：对于来自可替换生成器的每个候选抓取，系统通过密集的20摄像头感知在手-物严重遮挡下定位物体，执行碰撞监控的机器人运动，标注提起-保持的成功或失败，并在试验之间主动重置物体以暴露不同稳定姿态下的额外候选。其结果是一个可重复使用的、经过物理标注的抓取试验数据库，下游系统可通过检索和可行性过滤进行查询。利用AutoDex，研究团队收集了涵盖Allegro和Inspire灵巧手的3593次抓取试验，覆盖100个多样化物体，并同步记录了多视角观测和机器人状态日志。在500条轨迹的匹配收集中，AutoDex仅需10.3小时，而遥操作需要49.4小时，实现了4.8倍的吞吐量提升；从AutoDex验证数据库检索的抓取成功率达76%，而仅经仿真验证的抓取成功率仅为34%。代码和数据将公开发布。
效果展示
图 2：AutoDex 工作站及其执行示例。左侧：搭载 6 自由度 xArm 机械臂、可更换多指手爪以及 20 台同步 RGB 相机的多相机工作站；中间列和右侧列：每一行分别给出在墙体、货架、箱体场景约束下生成的候选抓取方案，以及对应的实物执行结果；画面附带同步视角图像，并叠加经过跟踪得到的物体 6 维位姿。
引言
从工厂装配线到家庭服务机器人，从太空舱内维修到灾难现场搜救，灵巧操作能力始终是机器人学追求的圣杯。与简单的平行夹爪不同，多指灵巧手拥有数十个自由度，能够以捏、握、托、拧等多种方式与物体交互。这种灵活性赋予了机器人应对非结构化环境和未知物体的潜力，但同时也带来了巨大的学习难度：策略必须理解复杂的接触力学、手指协同和力控制，而不仅仅是"靠近并闭合"。
深度学习的兴起为灵巧抓取带来了新的希望。从模仿学习到强化学习，从纯仿真训练到sim-to-real迁移，研究者们尝试了各种路径来获取有效的抓取策略。然而，一个残酷的事实始终未变：无论仿真多么逼真，真实世界的接触物理仍然存在不可忽略的域差距（domain gap）。在仿真中表现完美的抓取姿态，放到真实机器人上可能因为微小的摩擦差异、材质形变或感知噪声而彻底失败。因此，包含真实物理反馈的数据被公认为训练鲁棒灵巧策略的黄金标准。
获取真实物理反馈数据的传统途径主要有两条：遥操作和仿真验证。遥操作让人类专家直接控制机器人执行抓取，虽然能够获得100%真实的物理结果，但速度极慢（一个操作者一天可能只能收集数百条轨迹），且数据不可避免地带有操作者的偏好和习惯偏差。仿真验证则先在仿真中生成大量候选抓取，再筛选高分候选在真实硬件上执行，但仿真与真实的差距使得大量候选在真实世界中无效，筛选效率低下。
AutoDex的研究团队洞察到，真正阻碍规模化真实数据收集的，不是抓取本身，而是抓取周围的"周边流程"：如何自动找到物体、如何安全执行运动、如何判断成功与否、如何准备下一次试验。他们将工程创新的焦点对准了这一完整的自动化循环，以系统级的卓越设计实现了数据收集效率的革命性突破。
主要贡献
本文提出AutoDex，首个实现感知-执行-标注-重置全闭环自动化的真实世界灵巧抓取数据收集系统，以碾压级的效率和物理验证精度，为机器人灵巧操作学习提供了可大规模扩展的数据基础设施。具体来说，我们的主要贡献如下：
• 我们构建全自动化数据收集闭环：AutoDex首次将候选生成、密集感知、碰撞监控执行、物理结果标注和主动物体重置五大环节整合为完全无人干预的自动化系统。
• 我们实现20摄像头密集感知与遮挡定位：通过20台摄像头的全方位覆盖，AutoDex能够在手-物严重遮挡的极端条件下仍精确定位物体，解决了灵巧抓取中最棘手的感知难题。
• 我们设计碰撞监控安全执行：系统实时监控机器人运动与环境的潜在碰撞，在保障硬件安全的前提下最大化执行效率。
• 我们实现物理成功/失败自动标注：通过"提起-保持"测试自动判断每次抓取试验的物理成败，消除了人工标注的成本和主观性。
• 我们设计主动物体重置机制：在试验间自动重置物体姿态，主动暴露物体不同稳定面下的候选抓取，显著提升了数据多样性和覆盖范围。
• 我们实现4.8倍效率提升与76%验证成功率：在500条轨迹的匹配收集中，AutoDex将耗时从遥操作的49.4小时压缩至10.3小时；经AutoDex物理验证的数据库抓取成功率达76%，远超仅仿真验证的34%。
• 我们开源大规模数据集：涵盖Allegro和Inspire两种灵巧手、100个多样化物体、3593次抓取试验的同步多视角观测与机器人状态日志将公开发布。
方法
AutoDex的系统架构由五个紧密协作的功能模块组成：候选生成器接口、20摄像头密集感知、碰撞监控运动执行、提起-保持物理标注，以及主动物体重置。
整体工作流如下：系统启动后，候选生成器（可为任意可替换模块，如仿真中的抓取采样器或学习策略）提出一个候选抓取姿态。20摄像头感知模块随即在当前场景下定位目标物体，即便机器人手指已经部分遮挡物体也能输出可靠的6DoF位姿。基于感知结果，碰撞监控执行模块规划并执行机器人运动，在接近和接触过程中实时检测潜在碰撞并触发保护性暂停。抓取执行后，系统进入提起-保持测试阶段：若物体被成功提起并在保持阶段不脱落，则标注为成功，反之标注为失败。最后，主动重置模块介入，将物体重新摆放至新的稳定姿态，循环回到候选生成步骤。
20摄像头密集感知是AutoDex应对遮挡挑战的核心。灵巧抓取过程中，多根手指从多个方向包裹物体，对物体形成了严重的视觉遮挡。仅凭单视角或少量视角的摄像头，几乎不可能在抓取执行过程中持续追踪物体。AutoDex的解决方案是"以量取胜"——在工作站周围部署20台摄像头，形成近乎无死角的观测覆盖。所有摄像头的图像被实时送入一个多视角融合感知算法，该算法利用时序滤波和几何一致性约束，在遮挡条件下仍能保持对物体位姿的稳定估计。这一设计确保了即使大部分摄像头被遮挡，剩余视角仍能提供足够的定位信息。
碰撞监控运动执行模块保障了系统长期自主运行的安全性。在无人值守的自动化循环中，任何意外的机器人-环境碰撞都可能导致硬件损坏或试验中断。AutoDex采用分层安全策略：在运动规划层面，预先计算无碰撞轨迹；在执行层面，实时监测关节力矩和末端执行器速度，一旦检测到异常冲击或偏离预定轨迹的迹象，立即触发急停。这种"规划预防+执行监控"的双重保障，使得AutoDex能够连续运行数十小时而无需人工干预。
提起-保持物理标注是AutoDex数据质量的关键来源。与依赖人工观察或仿真分数不同，AutoDex通过真实的物理交互来判断抓取成败：机器人执行候选抓取后，尝试将物体提起并保持一段时间。如果物体在提起或保持过程中脱落，则记为失败；如果物体被稳定提起并保持，则记为成功。这一物理标注机制确保了数据库中的每一条记录都经过真实世界的验证，具有无可比拟的可信度。
主动物体重置模块是AutoDex提升数据多样性的秘密武器。如果每次试验后物体都保持同一姿态，那么候选生成器将反复面对相似的抓取条件，数据多样性大打折扣。AutoDex的重置模块在每次试验后主动将物体移动并重新放置，系统性地暴露物体在不同稳定姿态下的抓取面。这种主动探索策略与被动等待相比，能够以相同数量的试验覆盖更广泛的物体-手交互配置。
实验结果
AutoDex的实验评估围绕数据收集效率、物理验证有效性和数据规模三个核心维度展开。
收集效率碾压遥操作：在控制变量的条件下，研究团队对比了AutoDex和人工遥操作收集500条轨迹所需的时间。结果显示，AutoDex仅需10.3小时，而遥操作需要49.4小时——AutoDex实现了4.8倍的吞吐量提升。这一效率飞跃完全来自于自动化闭环消除了人工操作、观察和决策的时间开销。值得注意的是，这500条轨迹是"匹配收集"，即两种模式收集的物体集合和候选来源保持一致，确保了对比的公平性。
物理验证的压倒性优势：为了验证AutoDex物理标注数据的价值，研究团队对比了三种验证策略的实际抓取成功率：（1）仅从仿真验证的数据库检索抓取（34%成功率）；（2）从AutoDex物理验证数据库检索抓取（76%成功率）。这一超过两倍的差距雄辩地证明：真实物理验证是弥合仿真-真实域差距的最有效手段。对于下游的抓取策略学习而言，使用AutoDex验证的数据意味着更少的真实世界试错、更快的策略收敛和更高的最终性能。
大规模数据集构建：利用AutoDex系统，研究团队累计收集了3593次抓取试验，覆盖100个具有不同形状、尺寸、材质和重量的多样化物体。数据集包含Allegro和Inspire两种主流灵巧手的抓取记录，每次试验均同步保存了20个摄像头的多视角图像、机器人关节状态和末端执行器轨迹、物体位姿估计序列，以及最终的物理成败标注。这一数据集的规模和丰富度在灵巧抓取领域处于领先水平。
系统鲁棒性：在长达数十小时的连续自动化运行中，AutoDex展现出优异的系统鲁棒性。碰撞监控模块成功拦截了多次潜在碰撞事件，主动重置模块稳定处理了各种物体的姿态变化，感知模块在长时间运行中保持了位姿估计的准确性。这些工程细节的可靠性是AutoDex能够从"实验室原型"走向"实用基础设施"的关键。
总结 & 未来工作
AutoDex以系统级的工程创新，首次将真实世界灵巧抓取数据收集的全流程推向完全自动化。20摄像头密集感知攻克了手-物遮挡下的定位难题，碰撞监控和主动重置保障了系统的安全性和数据多样性，而4.8倍的效率提升和76%的物理验证成功率则以硬核数据碾压了传统数据收集模式。3593次试验、100个物体、两种灵巧手的规模数据集即将公开发布，有望为整个机器人灵巧操作社区注入强劲的数据动力。
展望未来，AutoDex的技术路线和开源数据将在多个方向上催生新的研究可能。首先，当前系统主要面向桌面级单物体抓取，将其扩展至 cluttered 场景中的多物体交互、双手协同操作，以及移动平台上的灵巧抓取，将极大拓展应用场景。其次，AutoDex收集的数据不仅可用于策略学习，还可用于构建更精确的接触物理模型、校准仿真器参数，从而反哺仿真-真实迁移研究。此外，将候选生成器从简单的仿真采样替换为学习策略或扩散模型，实现"数据收集-策略学习-数据收集"的自举式循环，有望开启机器人灵巧操作的自我进化之路。最后，降低系统成本（如减少摄像头数量、使用更经济的灵巧手平台）将使更多研究实验室能够部署类似的自动化数据收集设施， democratize 高质量真实世界机器人数据的获取。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
