点击下方卡片，关注【Xbotics具身智能实验室】公众号

你想要的这里都有~~

最近看完了蚂蚁灵波首席科学家沈宇军的一场长访谈。它比较完整地讲清楚了蚂蚁为什么进入具身智能、灵波为什么选择“只做大脑”、为什么要重新训练面向物理世界的视觉和视频模型，以及他们如何看待真机数据、Ego数据、仿真数据和任务泛化。

我的整体感受可以概括为四点。

第一，蚂蚁对具身智能的投入，在大厂里是相对认真、相对重的，不是成立一个研究小组、做几个Demo、等行业成熟以后再决定是否进入。

第二，我认可他们关于“具身原生模型”和大规模真实数据的判断，但不认可“只做大脑、不做硬件”能够真正做好机器人大脑。公司可以不生产和销售本体，却不能缺少深度的硬件能力。否则，大脑很容易变成脱离身体的算法模块。

第三，未来具身智能的核心竞争确实会逐渐从单一模型架构，转向数据生产、数据治理、任务设计、失败恢复和跨本体适配。仿真在现阶段更适合作为模型评测、压力测试和危险场景验证工具，而不是被简单理解成真实操作数据的低成本替代品。

第四，这场访谈对非行业读者比较友好，但对真正从事具身智能的人来说，很多关键问题没有继续追下去。具身访谈既需要帮助外行建立行业地图，也需要为从业者提供可验证、可比较、可落地的信息。这要求提问者不仅懂AI，还要懂机器人系统和真实场景。

一、蚂蚁对具身智能的投入，确实比很多大厂更认真

从这场访谈披露的信息来看，蚂蚁至少在这三个方面都做出了比较重的选择。

1. 不是在研究院里成立一个课题组，而是成立独立公司

沈宇军在访谈中提到，蚂蚁原本可以把具身智能作为研究院内部的探索方向，但最终选择成立一家子公司。

他原话说：“我其实觉得这是一个集团做的比较大的决心。把它当做研究机构的形式去做的话，很有可能做一做就脱离了这个行业。”“既然要干，那我们就变成一个真实的业务来干，而不是把它变成一个研究性质的、试验试错的团队去做。”

很多大厂进入机器人行业时，采用的是典型的“观察仓”模式：先成立一个实验室，招聘一些研究员，做论文、开源模型、参加比赛，在行业方向更明确以后再决定是否转向业务。这种模式风险较低，但也很容易出现一个问题：研究团队追求的是论文指标、基准测试和技术先进性，不关注稳定性、部署成本、节拍、维护和异常恢复。

2. 它不是简单接一个开源VLM，再加动作头

灵波最初同样使用数字世界的预训练模型，再将其嫁接到机器人上。但在真实部署中，团队发现数字模型的开发目标与机器人需求并不完全一致。

沈宇军坦言：“很多时候，数字世界模型开发的初衷，跟物理世界的需求不是很匹配。”“从视频生成这个角度来说，它会希望生成的画质特别高，这是数字世界的需求。但是落实到机器人动作来看，这个东西没有那么重要。”

于是他们做出的决定是：“既然不能push他们去改，我们就全部基于物理世界的需求重做一遍。”

这里所谓“重做”，不是把所有语言能力全部推倒，而是保留LLM，将视觉理解、视觉生成、视频时序和动作相关表征重新训练。这是一条成本很高的路线。访谈中提到，为了训练原生MoE视频模型，仅仅解决专家激活不均衡问题，就花了大约两个月，经历了几十次失败；为了实现真正从头开始的单向因果训练，又投入了三到四个月。沈宇军自己说：“MOE想训明白，可能就花了两个月的时间。”“中间失败个几十次是有的。”“单向训练这个事情，也是花了三到四个月的时间。”

3. 数据投入已经进入数万小时级别

访谈披露，第一代模型的数据规模约为两万小时，第二代提升至约六万小时，模型规模约为3B级别。更值得注意的是，他们没有简单把第一代的两万小时全部算进第二代，而是在更新数据标准后重新清洗。第一代两万小时数据中，真正能够保留下来的只有一万多小时。

这至少说明团队已经意识到：数据规模不是原始视频时长，而是符合训练标准、动作语义一致、传感器同步正确、任务分布有效的数据量。从两万小时到六万小时不是简单乘以三。按照访谈中的说法，第二代数据是在更严格的数据管线上重新积累的，因此有效规模可能接近上一代的四倍。

当然，投入很大、态度认真，不代表最后一定成功。沈宇军自己也说，选择从头训练具身原生模型是一场“豪赌”：“原生这个事情很有可能做到最后发现没做出来。你训了半天，训了一年，花了好多资源，结果这个模型就是不收敛。”

真正愿意承担基础模型训练失败、数据管线重建和长期真实部署成本的公司并不多。蚂蚁是在为一条尚未被证明的技术路线下注。

二、我不认可“只做大脑、不做硬件”能够真正做好具身智能

这场访谈中，我不认可的，是“只做机器人大脑”的战略判断。

灵波的基本逻辑是：未来机器人会有很多不同品牌和形态，不可能由一个本体解决所有任务。因此灵波不需要做一个统一的机器人，而是要让不同机器人都运行灵波的大脑。沈宇军说：“我们最后希望每家都会有一个机器人，但是这个机器人是什么样子，其实谁也不知道。”“我们希望在这个机器人里面跑的，最后都是灵波的模型，用的是灵波的大脑。”“我们的大脑从最开始定义，就是希望它跨本体，希望它通用。”

这个愿景可以理解，但我认为这里存在明显的纯AI路径依赖：因为团队最擅长的是视觉、生成模型和表征学习，所以更容易把机器人问题理解成一个“统一模型运行在不同终端上”的问题。可是，机器人不是手机，大脑和本体的关系也不是操作系统与手机品牌的关系。

1. 机器人的身体不是模型的普通载体

对手机应用来说，不同品牌设备之间虽然存在差异，但它们的基本输入输出接口相对标准化：屏幕、触摸、摄像头、麦克风、CPU和GPU、操作系统接口。机器人完全不同，不同本体之间的差异包括：自由度数量不同、关节连接方式不同、机械臂长度和工作空间不同、扭矩和速度上限不同、回差、摩擦和柔顺性不同、控制频率不同、位置控制、速度控制、力矩控制接口不同、相机安装位置不同、手眼关系不同、夹爪与灵巧手动作空间不同、触觉传感器类型不同、通信延迟、执行延迟和安全机制不同。

这些差异不是模型输出后再加一个Adapter就一定能够解决的。机器人策略本质上学习的是：观测 + 本体状态 + 动力学约束 + 任务目标 → 动作。身体本身就是这个函数的一部分。因此，所谓“机器人大脑”并不是先独立训练完成，然后安装到任意身体上。身体的结构、传感器和控制方式，从一开始就在决定模型能够观察什么、能够学习什么、最终能够输出什么。

2. 访谈本身已经证明了大脑无法脱离身体

很有意思的是，访谈中的很多内容，实际上已经在反驳“只做大脑”的强解耦想象。沈宇军谈到，第一代模型主要支持双臂和夹爪，适合固定桌面任务。但进入真实场景后，团队发现机器人并不是永远站在桌前不动：“实际场景中机器人做很多动作，不是在固定高度做的。比如去架子上拿东西，它需要抬手。”“头到底要不要看到手抬的地方？”“头部相机失效的时候，能不能只用腕部相机，或者其他传感器把事情做了？”“如果手够不到，是不是要移动一下？如果从下面拿东西，要弯腰。”

于是第二代模型不得不加入头、腰、底盘、灵巧手和更多本体构型。这说明，机器人能力不是大脑单方面定义的。真实任务会不断把硬件、视角、控制接口、自由度和机械约束重新拉回模型设计中。他们做炒菜Demo时，也“发现了很多软硬件上的问题”。但团队从中得出的主要结论是，要把大脑做得更好，因为换场景的复制成本太高。我的理解恰恰相反：炒菜中出现大量软硬件问题，说明长程机器人任务是需要本体、末端、传感器、控制器、工具和任务流程共同设计。

3. 这是纯AI团队进入机器人后的典型路径依赖

沈宇军在访谈中有一段很坦诚的表达：“可能当时对视觉、对模型这边会懂一点，但是把一个模型用到机器人上，怎么部署、怎么调里面的通信，有太多技术栈超出了我本来的认知。”

AI团队转向机器人时的典型问题：一开始容易认为，机器人主要缺的是更强的视觉模型和决策模型；真正开始做以后才发现，模型只是整个系统的一部分。机器人在现实中失败，可能不是因为模型“不够聪明”，而是因为：标定发生漂移、相机时间戳不同步、控制频率不稳定、动作尺度映射错误、关节存在回差、夹爪抓取力不够、腕部相机被遮挡、通信延迟造成观测动作错位、末端工具不适合任务、本体可达空间不够、安全限位改变了模型动作。

纯AI团队的路径依赖，是倾向于把这些问题继续抽象成“模型还需要更多数据”“模型还需要更强泛化”，但很多问题必须通过硬件设计、控制接口和系统工程解决。

4. 不生产硬件可以，但不能没有硬件能力，跨本体不是装上去就能用，而是适配成本足够低

我并不是认为所有具身模型公司都必须自己制造和销售人形机器人。“不做硬件产品”和“没有硬件能力”是两件完全不同的事。一个只做大脑的公司，至少需要具备以下能力：深入参与参考本体的定义；能修改机器人底层控制接口；能确定相机、触觉和力传感器的布局；能分析动力学、延迟、回差和控制稳定性；能参与末端执行器设计；能建设自己的数据采集本体；能完成整机部署、标定和故障定位；能对不同本体建立标准化适配和验收体系。

更准确地说：可以不做硬件销售，但不能不做硬件研发；可以不拥有整机品牌，但必须拥有对身体的定义权和调试权。如果一家所谓“大脑公司”拿到合作伙伴的机器人，只能通过上层SDK调用，而不能深入控制器、传感器和本体设计，那么它很难真正建立跨本体能力。它最终很可能不是“适配所有机器人”，而是每换一种机器人，就重新采数据、重新调动作、重新处理相机、重新微调模型。这不是通用大脑，而是多个定制项目共享了部分模型参数。

灵波强调跨本体，但访谈中没有充分回答一个最关键的问题：一个未见过的新机器人接入需要几天还是几个月；需要100条、1000条还是1万条数据；是否需要重新训练主干；是否只训练动作适配器；不同控制频率如何处理；不同关节拓扑如何表示；不同相机布局如何统一；成功率能够保留多少；哪些能力可以零样本迁移；哪些能力必须重新采集。只有把这些指标讲清楚，“跨本体”才从愿景变成技术能力。

三、我认可的方向：大数据、具身原生，以及以真机为核心的数据路线

虽然我不认可大脑与硬件的强解耦，但我认可灵波对模型和数据的几个核心判断。

1. 具身智能最终需要具身原生模型

访谈里“玻璃门后的猫”是一个很好的例子。从语义视觉角度看，模型看到的是一只猫；从机器人角度看，猫前面有一道玻璃门，机器人如果向前走，会先撞上玻璃。沈宇军将其总结为：“你能看到，但你摸不到。能看到是语义理解，摸不到是空间感知。”这个判断非常准确。物理智能需要的不是“更懂图片”的模型，而是“知道自己能否行动”的模型。

同样，数字视频模型追求高清画面，而机器人的内部预测即使有些模糊，只要能够准确预测物体运动、接触和动作结果，就可能已经足够。所以我认可“具身原生”，但具身原生不能只理解为从头训练一个视觉模型。它至少包括六个层面：传感器原生，接受真实噪声、遮挡、抖动和不同相机条件；空间表征原生，保留距离、几何、接触和可达性；时间原生，遵循现实时间的单向因果关系；动作原生，表征与动作和状态变化直接对齐；本体原生，显式建模不同身体结构和控制约束；数据原生，根据模型能力缺口设计采集任务，而不是有什么数据就训练什么。

2. 数据规模必须足够大，但小时数不是最重要的指标

沈宇军提到：“数据除了数量之外，有一个很关键的点就是分布。”例如，如果头部运动数据很多，而腰部运动数据很少，模型可能更倾向于转头，而不愿意弯腰。这与很多VLA项目中出现的问题完全一致。模型并不会自动理解什么是“合理的身体协同”，它只会从数据频率中学习统计偏好。如果90%的轨迹都不使用腰部，模型即使具备腰部输出维度，也可能永远不愿意使用腰。

因此，具身数据规模不应该只用小时数表示，更应该建立一个覆盖矩阵：本体构型覆盖、自由度覆盖、任务类型覆盖、物体类型覆盖、接触类型覆盖、视角覆盖、失败类型覆盖、恢复动作覆盖、速度和动作尺度覆盖、环境变化覆盖。真正的有效数据量可以粗略理解为：有效数据量 = 原始数据量 × 数据质量 × 分布覆盖 × 动作一致性 × 可训练比例。一万小时高质量、分布合理的数据，可能比十万小时重复、卡顿、动作不一致的数据更有价值。

3. 数据采集不是劳动力问题，而是任务设计问题

访谈提到，数据Know-how主要有两个：“到底要下发什么样的任务。”“数据拿到了之后，怎么样把它清洗好。”这两个判断都很重要。现在行业经常把具身数据采集理解成：找更多操作员、摆更多机器人、录更长时间。但真正难的不是让机器人持续动，而是决定应该让机器人做什么。一个好的采集任务需要同时考虑：是否覆盖关键自由度；是否产生有效接触；是否包含状态变化；是否能够复用到多个任务；是否包含失败边界；是否具有组合价值；是否能被操作员稳定完成；是否能形成标准化SOP；是否能够规模化复制。未来最有价值的数据团队，不是操作员最多的团队，而是最会设计任务分布和数据课程的团队。

四、我基本认可：现阶段仿真更适合用于模型评测

访谈中，灵波明确表示：“仿真我们可能会更多地把它留在评测上，可能不太会用仿真的数据去做模型训练。”他们给出的理由主要有两个。第一，仿真数据虽然可以快速扩大数量，但容易出现分布同质化。看起来生成了很多轨迹，实际上可能只是在相似场景中重复抓取、移动和放置。第二，柔性物体和复杂接触仍然很难准确模拟。例如撕塑料袋、处理衣物、液体、复杂摩擦和灵巧手操作，物理引擎与真实世界仍有明显差距。这个判断我总体认可。

1. 仿真最适合做标准化评测

真实机器人评测存在很多干扰因素：每次物体摆放略有不同、机器磨损状态不同、标定状态不同、人员操作不同、相机光照不同、测试成本较高、危险动作不能反复测试。仿真可以提供完全一致的初始条件，对不同模型进行可重复比较。它尤其适合评测：位置扰动、视角扰动、物体数量变化、障碍物变化、动作延迟、传感器噪声、控制误差、长程任务中的错误累积、极端和危险情况。因此，仿真现阶段非常适合成为具身模型的“压力测试场”。

2. 但不能把“主要用于评测”理解为“不用于训练”

我会比访谈中的表达稍微保守一点。仿真不适合直接替代大规模真实操作数据，但它仍然可以用于：预训练基础运动能力、生成稀有失败场景、训练安全约束、验证控制器、强化学习、恢复策略训练、相机和物体随机化、训练高层任务规划、筛选动作候选、生成真实世界难以采集的危险数据。真机数据负责建立真实分布和有效操作能力，仿真负责扩大边界、发现漏洞和降低评测成本，能够以很低成本系统地改变一个变量，观察模型是否失效。

五、从这场访谈可以进一步做出的行业判断

判断一：数据竞争将从“小时数竞争”转向“有效数据竞争”

未来行业仍然会持续公布十万小时、百万小时，但小时数的解释力会越来越低。灵波第一代两万小时数据，经过第二代标准重新清洗后只保留一万多小时，本身就说明“小时数”中存在很大的水分和口径差异。

判断二：任务设计会成为数据公司的核心壁垒

如何构建任务树、如何覆盖技能原语、如何设计组合任务、如何控制任务难度、如何平衡不同自由度、如何采集临界失败、如何将一次采集服务多个模型目标。操作员是一种生产资源，任务设计才是数据产品能力。

判断三：失败和恢复数据会比普通成功数据更稀缺

成功数据告诉模型正确动作是什么，失败恢复数据告诉模型。但是失败恢复数据必须精细标注接管时刻、失败原因和恢复阶段，不能简单与普通演示混在一起。否则，模型可能学到错误的动作尺度、停顿模式或者等待接管行为。

判断四：跨本体数据的难点是动作语义统一

不同本体的数据放在一起，并不会自然产生跨本体能力。未来的Canonical格式不能只是字段名统一，而要做到动作语义统一。

判断五：Ego数据会快速增长，但不能独立解决机器人操作

访谈对Ego数据的判断也比较克制：“Ego提出了一个比较好的scale up方式，这一点毋庸置疑。”但同时也指出，仅有头部相机的视频，是否能支持灵巧手和精细操作，仍然未知。

六、这场访谈中存在的问题，以及可以怎样问得更好

这场访谈的价值是明显的。它让不了解具身智能的人能够听懂：为什么大厂开始做机器人；什么是机器人大脑；为什么需要大规模数据；数字世界模型和物理世界模型有什么不同；什么是真机数据、Ego数据和仿真数据；为什么模型要考虑头、腰、底盘和灵巧手。从大众传播角度看，它是成功的。

但具身行业访谈还有第二个功能：为真正从事这个方向的人提供判断和指引。从业者需要知道的不是只有“他们选择了什么路线”，还包括：这条路线具体如何实现；当前能力到底到什么程度；仍有提升空间。

问题一：“为什么不做本体？”没有问清能力边界

原问题太容易得到愿景式回答，更有价值的问法应该是：你们所说的“不做本体”，具体是不做量产和销售，还是连底层控制器、传感器布局、末端执行器和数据采集本体也不做？继续追问：你们有没有自己的参考本体？对合作本体有哪些硬件要求？如果相机位置不符合模型要求，由谁改？一个新本体接入需要多少工程人员和时间？这样才能判断“只做大脑”是一种合理分工，还是对硬件复杂性的低估。

问题二：“通用就意味着跨本体？”没有给跨本体建立指标

这个问题停留在概念确认，没有继续问“跨到什么程度”。更好的问法：你们如何定义跨本体能力？是同一个Checkpoint直接部署，还是共享主干、重新训练Adapter，或者需要重新采集完整数据？继续追问：接入一个未见过的本体需要多少条数据？

问题三：“这个模型训练多久？”信息价值有限

训练时间很容易受GPU数量、集群规模和实验方式影响，单独问几个月并不能说明投入和能力。更好的问法：这次模型训练的总计算规模、有效数据量、总参数与激活参数分别是多少？一次完整训练需要多少卡时？失败实验主要消耗在哪、算力和人工分别占多少。

问题四：“这一代大脑能用到哪些场景？”缺少标准化评测

原问题回答很容易变成Demo列表。更好的问法：请给出三个具有代表性的任务，并说明每个任务的测试次数、成功率、平均完成时间、是否允许重试，以及主要失败类型。

问题五：“预训练规模有多大？”只得到了小时数

回答是3B模型、六万小时数据，但真正重要的数据口径没有被问出。更好的问法：六万小时数据中，真机、Ego、公开数据和自采数据分别占多少？

问题六：“仿真数据一样吗？”没有追问仿真评测如何成立

受访者回答仿真主要留在评测，但采访者没有继续追问评测体系。更好的问法：你们主要用仿真做哪些评测？仿真排名与真机成功率之间是否有稳定相关性？

问题七：“有哪些类别的数据？有什么Know-how？”范围太宽

受访者谈到了任务下发和数据清洗，但仍然比较概括。更好的问法：你们的数据任务体系如何分层？是按照技能原语、物体类型、接触类型，还是按照完整业务任务组织？

问题八：“有没有观察到通用性好的任务？”没有定义泛化

这个问题把很多不同的泛化混在了一起。更好的问法：你们目前证明的是位置泛化、物体泛化、场景泛化、任务泛化，还是本体泛化？

问题九：“错误后再纠正的数据也是好数据吗？”没有深入HIL机制

受访者提到人工观察、及时打断和真机强化，但没有讲数据如何使用。更好的问法：纠正数据在训练中如何表示？模型自主段、失败段、接管段和恢复段是否使用不同标签或损失？

问题十：“它到底是大脑还是小脑？”概念有传播性，但技术意义有限

大脑、小脑是一种传播比喻，不同公司定义不同，很难形成技术比较。更好的问法：这个模型在完整机器人系统中负责哪一层决策？它是否负责意图理解、任务分解、技能选择、轨迹生成和关节控制？

-END-

Ask Me Anything｜提问箱

❝

对文章有疑惑，或想聊更深？欢迎把你的问题丢给我们：技术方案、实操踩坑、课程与资料、项目合作、职业发展，都可以问。

怎么问：在评论区留言，或私信公众号

我们会做什么：每周集中整理高质量问题并公开回复，重点问题邀请作者或嘉宾深度解答；典型问题会加入知识库并持续更新。

提问小提示：尽量说明「你的目标—当前做法—期望产出」，附上必要信息（硬件/软件版本、数据规模等），能更快获得有用答案。

一起把问题变成知识，推动社区进步 🚀