双人技术交锋：具身预训练，下一笔数据投入该花在哪？
同一笔数据预算，是用于覆盖更多人类操作场景，还是积累机器人的真实动作与交互反馈？在具身预训练阶段，这一选择不仅影响模型能够获得什么能力，也关系到后续任务适配与真实场景部署。围绕这一取舍，本期沙龙设置了题为「具身预训练：优先规模化人类经验，还是积累真机交互？」的双人对谈。
对谈由上海科技大学研究员、助理教授、博士生导师，YesAI 实验室负责人、瞬适科技创始人石野主持。蚂蚁灵波科技首席数据科学家黄用韬与清华大学人工智能学院助理教授刘淼，围绕人类经验与真机数据的能力分工、不同训练阶段的数据投入，以及预训练效果的验证展开交流，并进一步探讨触觉反馈、跨本体迁移与模型泛化等关键问题。
黄用韬认为，如果必须为具身预训练的数据投入确定优先级，现阶段应优先积累真机数据，因为机器人需要通过与物理世界的直接交互，建立可靠的操作能力。相比之下，大规模人类视频数据可用于支持任务理解与高层规划，但在动作轨迹、力度控制及接触反馈等方面仍存在精度不足的问题。
他特别强调，触觉不应只是后训练阶段的补充，而应尽早融入基础能力学习；通过无本体采集、电子皮肤等技术探索低成本触觉数据获取方式，也值得关注。
在研发实践中，团队应先通过真机数据建立对任务和失败原因的基本认识，再逐步扩大数据规模。对于预训练效果的验证，不能只看已有任务的成功率，还应考察模型面对新任务时的学习速度、适配所需数据量及跨场景泛化能力，并通过多任务评测识别真实收益。
刘淼则强调，具身数据的选择并不存在统一答案，关键取决于机器人的应用定位与训练阶段。工业场景中的精密抓取、装配等任务高度依赖真机数据，而面向开放环境的通用具身智能，则需要充分利用人类经验数据的规模化优势。
他认为，预训练通常更重视数据覆盖范围，后训练则通过更高质量的数据提升特定任务表现。不过，人类动作与机器人本体之间存在结构和控制差异，即使能够精确还原人类操作，也不意味着可以直接迁移至机器人。人类数据的潜在价值还包括主动感知、任务规划、手眼协调及长程行为衔接。
对于触觉数据，他认为应综合考虑采集成本、数据质量与覆盖范围，少量特定构型数据能否有效提升预训练能力仍有待验证。此外，当前具身预训练缺乏可靠的独立评测手段，其真实贡献容易被后训练效果掩盖，如何有效区分两者的收益仍是重要挑战。
从左到右依次为：上海科技大学研究员、助理教授、博士生导师，YesAI 实验室负责人、瞬适科技创始人石野，蚂蚁灵波科技首席数据科学家黄用韬，清华大学人工智能学院助理教授刘淼
技术 Open Mic：机器人究竟从数据里学到了什么？
数据路线的选择，需要进一步落实为采集、训练与验证的具体方法。三场技术 Open Mic 分别从物理交互信息的获取、数据配方与评测，以及真实部署中的闭环学习切入，讨论如何将数据转化为可验证、可持续改进的操作能力。
视觉能够记录物体的状态和运动，触觉则能补充接触过程中难以从画面直接判断的受力、滑动等信息。千觉机器人创始人兼首席科学家、上海交通大学教授、机器人操作感知与智能实验室（MPI Lab）负责人马道林以《从多模态采集到物理交互数据》为题展开分享。他强调，触觉包含受力、几何、滑动与运动等多种信息，是机器人完成精细操作的重要依据。要将这些信息转化为操作能力，既要通过高质量、高一致性的传感器采集高质量数据，也要建立规模化采集的标准规范，并推动模型训练与模型验证工作，搭建起一套高质量的机器人交互能力训练体系。在数据采集层面，团队深度布局人机解耦的采集方式，从人类操作中获取触觉经验，生产高质量真实世界数据；同时通过自研触觉仿真器，以较低成本生产大规模高质量仿真数据，并为机器人模型提供评测试验场。他还展示了融合视觉、触觉、语言、动作的 VTLA 模型在自动穿鞋带、纸盒成型等真机任务中的表现。
数据进入训练环节后，怎样组合不同来源的样本，又如何判断组合是否有效？上海交通大学人工智能学院副教授、上海创智学院全时导师、RhOS.ai lab 负责人李永露带来《机器人学习的数据配方与评测》，将讨论推进到数据选择与能力验证。他指出，数据配方应从机器人需要完成的任务出发，结合模型结构、训练目标与评测方式共同确定。新增数据是否有效，需要通过模型训练和下游任务评测来检验，再将结果反馈到下一轮采集与筛选中。随着数据规模扩大，投入不仅发生在采集端，还包括后续处理、训练与存储，因此更需要持续检验数据的训练收益。硬件、模型与数据基础设施应协同设计、同步迭代，让数据采集与模型训练形成持续反馈的闭环，在统筹整体成本的同时，提高数据投入的有效性。
上海交通大学人工智能学院副教授、上海创智学院全时导师、RhOS.ailab 负责人 李永露
数据的价值，最终要体现为机器人能力的持续增长。深朴智能联合创始人兼技术副总裁李明磊以《从经验到智能：具身数据 Scaling 与持续学习》为题，提出以高保真经验支撑预训练，再通过持续学习拓展能力边界。团队围绕经验、表征、评测与反馈，通过 HiFi-UMI 探索降低策略冷启动对真机示范的依赖，结合三维监督、物理评测与纠错反馈推动策略迭代，并探索 GPT-Astra 等大模型与具身策略协同，让真实部署既成为能力的检验场，也成为能力增长的来源，推动机器人在与物理世界的持续交互中学习和进化。
产业碰撞场：从采集到训练，具身数据还能怎么降本？
从验证训练收益到持续供给有效数据，还需要解决不同硬件的数据对齐、采集质量与生产效率等问题。如何让新增信息被模型真正用好，又如何减少采集、处理与适配中的成本？
围绕这些问题，产业碰撞场以「具身数据的新变量：多样性、多模态与规模化」为题，由机器之心合伙人周芳主持。香港大学 MMLab 博士生、Lumina 具身智能社区创始人陈天行，新智具身 CEO 赵世豪与模感科技联合创始人兼 CTO 周航，结合各自实践，围绕数据多样性的价值、触觉等模态的有效利用，以及规模化生产的质量与成本展开交流。
陈天行提到，判断数据价值，既要关注分布与质量，也要结合模型架构和预训练能力。新增数据能否带来泛化收益，需要通过长程任务、复杂交互与场景变化的评测，结合横向比较和消融实验验证。对触觉而言，任务设计应让接触信息真正参与决策，才能检验其实际贡献。
周航强调，全身触觉对大脑开展物理世界认知训练具有重要支撑作用，它对小脑模型的闭环控制也有深远助益。数据需保持稳定、准确，并做好时序同步与运动干扰过滤。规模化降本可从量产、减少重复定制及 AI 辅助清洗入手，他也期待行业形成统一的数据标准。
赵世豪指出，不同训练阶段对数据数量、质量与精度的要求各不相同。要让模型有效利用触觉，需要先解决不同硬件的数据表征对齐，再探索融合方式。在团队实验中，过早融合视触觉表征可能降低性能。数据生产端也应重视采集人员的选拔与操作能力，从源头提高数据质量和投入效率。
从左到右依次为：机器之心合伙人周芳，香港大学 MMLab 博士生、Lumina 具身智能社区创始人陈天行，新智具身 CEO 赵世豪，模感科技联合创始人兼 CTO 周航
从数据来源的选择，到训练收益的验证，再到生产与使用成本，本期「Triple T」张江塔尖会系列技术沙龙将「数据规模」拆解为与任务、模型和部署条件相关的具体问题。不同路线的交流进一步凸显，数据投入需要围绕明确的能力目标展开，并通过持续评测检验其价值。
这些问题的进一步探索，也需要研究与产业之间的持续交流与协作。在最后的「Link up · 生态连接」环节，嘉宾与现场观众继续围绕相关议题交换看法。以此次在张江 AI 创新小镇的相聚为起点，围绕数据生产、模型评测与实际应用展开的协作，有望让现场的讨论延伸为新的研究与实践，推动数据积累转化为可在真实任务中验证的机器人能力。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
