点击下方卡片，关注【Xbotics具身智能实验室】公众号
你想要的这里都有~~
作者 / 木木
编辑 / 卡布
📌 模型为什么能从一次演示中学到新任务？因为它此前已经积累了足够多的物理世界经验。
一、从 Generalist Policy 到 Generalist Learner
2026年，具身智能正在经历一场重要变化。
过去的目标，是训练一个掌握多种技能的机器人，也就是Generalist Policy。
「我已经会1000个任务。」
现在，目标开始转向训练一个能够学习新技能的机器人：Generalist Learner。
「面对第1001个任务，我看你做一次，也可以试着学会。」
机器人One-Shot的含义也在随之变化。早期的做法，是提供少量数据，再对模型进行微调。如今，模型参数可以保持不变，只需接收一次演示，便能在运行时理解并执行新任务。
样本数量从100条降到1条，同时带来了一层更深的变化：新技能的获取方式，开始从更新模型权重，转向在Context中提供任务信息。
不同团队正在沿着各自的方向探索这条路线：
Generalist关注大规模预训练能否自然产生One-Shot能力。 Skild探索一段演示能否指导机器人完成长达十分钟的任务。 HOST研究人类视频如何与机器人动作建立对应关系。
二、什么是机器人One-Shot？
One-Shot目前还没有完全统一的用法。
传统机器人研究中的Few-Shot或One-Shot，有时指向这样一种方式：给模型1至10条数据，再进行训练或微调。GEN-1.5和S1所强调的One-Shot，则把学习过程放到了模型运行阶段。
One-Shot In-Context Learning的核心，可以概括为「一次示范，即刻学会」。
人在机器人面前演示一次「拿起锅铲、插到煎饼下面、完成翻面」，模型便根据这段演示理解任务并生成动作。整个过程无需数据标注、模型训练、参数微调或强化学习，也省去了数小时的等待。
这种方式更接近人类「我做一次给你看」的学习过程。单个示例通过上下文直接进入模型，机器人随即尝试执行新任务。
这条路线经历了三个阶段。
第一阶段，2017—2020年：Meta-Learning范式
这一阶段的核心思路，是训练模型学会如何根据一条演示快速适应新任务，One-Shot Imitation Learning便是其中的代表。
这类方法对训练阶段的任务分布依赖较强。模型在训练中接触的如果都是积木堆叠，测试时突然换成制作咖啡，泛化能力通常很难延续。
第二阶段，2021—2024年：设计更有效的演示表示
研究者逐渐发现，整段RGB视频包含的信息过于复杂，直接输入模型很难完成有效学习。于是，如何表示一段演示，成为这一阶段的重要问题。
KAT将视觉关键点和动作轨迹转换为Token，调用语言模型已有的In-Context Learning能力完成机器人模仿学习。Vid2Robot则为人类视频和机器人视频学习统一表示，帮助模型建立两种动作之间的对应关系。
第三阶段，2024—2025年：In-Context Robot Policy出现
ICRT把包含图像、状态和动作的轨迹演示，与机器人当前观测一同作为Prompt输入Transformer，再由模型生成动作。
Instant Policy则将演示、观测和动作表示成图，由扩散模型在图结构上生成动作。
这一阶段的One-Shot仍然依赖更有效的表示方式和归纳偏置。今天的GEN-1.5与S1沿着这条路线继续推进，将数据规模、任务长度和泛化能力带到了新的阶段。
三、三条技术路线
路线一：Generalist GEN-1.5，大规模预训练让One-Shot自然出现
这条路线很像GPT-3在语言领域展现出的Few-Shot能力。
Generalist的判断是，物理世界中的操作技能也可以沿着相似的路径获得。机器人模型在大规模、多样化的物理交互数据上持续预训练，逐渐积累对动作和环境的理解，并由此形成「看一次演示就开始做」的能力。
GEN-1.5是一款大型多模态机器人模型，可以处理视频输入，拥有约30秒的短期记忆。它能够同时接收传感器数据、语言指令和本体感觉信息，并输出频率为100Hz的动作轨迹。
它的关键能力在于，一段3至12秒的操作演示可以直接进入模型的上下文窗口。模型结合当前的机器人状态，随即生成动作序列。
Generalist将这种机制称为Physical Prompting。物理世界中的演示由此成为一种提示，可以直接告诉机器人当前需要完成什么任务。
在10个不同的操作任务中，GEN-1.5仅使用一条演示，便取得了平均59%的成功率，整个过程没有进行梯度更新。
如果加入非常轻量的适配，使用50条演示和10个梯度更新步骤，成功率可以提升至83%。
GEN-1.5还展现出几种值得关注的泛化能力：
组合泛化：给模型分别演示「打开袋子」和「从袋子里拿钱」，它可以将两个动作组合成一条完整的任务序列。 从仿真迁移到真实环境：操作演示可以在仿真环境中生成，再作为提示用于真实机器人。 从人类动作迁移到机器人动作：在部分任务中，人可以直接在机器人的相机视野里完成演示，机器人随后理解并执行相应动作。
研究团队表示，这些能力没有经过专门的In-Context Learning设计。
GEN-1.5连续预训练超过八个月。随着数据量、计算资源和模型规模持续增长，团队观察到一个明显趋势：模型适应新任务所需的数据，从数百条逐步降到几十条、几条，最后降到一条。
当预训练积累到一定程度，新任务适配越来越像一次能力调用。演示的作用，是告诉模型当前应该调用哪一种已经具备的能力。
路线二：Skild S1，用Video Prompt承载长时序任务
S1与Generalist共享一个基本判断：In-Context Learning是通向通用机器人的重要路径。
S1将问题推进到了更长的任务中。一段视频演示，能否指导机器人完成一项长达十分钟的全新任务？
官方公布的分布外任务包括盆栽移栽、制作煎饼、手冲咖啡和套件组装。最长任务接近10分钟，包含数十个操作步骤，这些任务都没有出现在预训练任务集中。
S1带来的一个重要变化，是将机器人任务说明的主要载体从语言转向视频。
传统VLA模型接收「Flip pancake」这样的语言指令。这句话可以说明任务目标，却无法完整传递锅铲的插入位置、插入深度、抬起时机和翻转角度。
在Skild看来，语言主要承担Goal Specification，也就是说明任务目标。视频演示则同时包含Goal、Procedure、Timing、Affordance和Skill Composition，能够展示目标、操作过程、动作时机、物体的使用方式，以及不同技能如何组合。
Skild为此设计了一组对照实验。两个策略模型采用基本相同的架构，区别在于，一个接收语言提示，另一个接收视频演示。
随着预训练数据从1000小时增加到10万小时，两者的表现出现明显变化：
数据量较少时，语言提示的表现更好，成功率为53%，视频演示提示为43%。「把杯子递给我」这类语言指令能够清楚地表达任务目标。 当数据规模达到10万小时后，In-Context Learning在分布外任务上的成功率达到66%，语言提示的成功率为9%，两者相差约7倍。
新任务上的差距，主要来自语言与动作之间缺少Grounding。
「把煎饼翻过来」可以说明任务目标，却无法提供接触位置、插入角度、运动轨迹、物体形变和接触时机。视频则直接展示了环境如何变化、物体怎样移动，以及接触发生在什么时刻。
S1已经开始处理动作之外的任务结构。可以把它理解为一个Task State Machine：模型从演示中梳理任务的先后顺序，再根据当前进度执行相应动作。
从这个角度看，人类演示视频相当于一套临时的物理程序。S1则像一个Physical Compiler，将这套人类程序转化为适合当前机器人的执行方案。
路线三：HOST，先完成人类视频与机器人动作的对齐
HOST同样希望通过一条人类视频，让机器人获得一项新技能。
它关注的问题是，人类演示与机器人执行之间存在多重差异。双方的动作速度、身体结构、观察视角、动作空间和环境布局都不相同，模型需要先建立明确的对应关系。
HOST为此建立了一套共享的任务进度流形。
例如，人类用3秒演示「把笔插进笔筒」，机器人可能需要12秒才能完成。虽然两者的速度不同，任务进度仍然可以对齐：
0%时发现笔，20%时抓住笔，50%时开始移动，80%时完成对准，100%时把笔插入笔筒。
人和机器人可以用不同速度执行动作，同时处在相同的任务阶段。
HOST的推理链路如下：
Human Video → Task Progress Localization → Upcoming Human Progress → Robot Future Observation → Robot Action
这套方法被称为Self-Grounded Prediction。
其中，「先预测自己的未来画面」是一个很巧妙的设计。
人的五指手与机器人的平行夹爪存在很大的结构差异，直接把人手动作映射到机器人关节十分困难。两者最终要达到的任务状态却可以保持一致。例如，完成任务后，杯子都应该出现在桌面右侧。
机器人先预测「如果我正确完成了当前阶段，相机应该看到什么画面」，再根据当前观测与未来观测之间的差异生成动作。
未来观测由此成为连接人类演示与机器人动作的桥梁，也绕开了两种身体结构之间的直接对应。
在50个新操作任务中，每个任务只提供一条人类视频，模型参数保持不变。HOST取得了62%的平均成功率，获取一项新技能平均需要29秒，相比最强零样本基线提升45%。
HOST还提出了一个值得关注的思路：技能可以存储在视频中，基础策略的权重保持冻结。
传统方法通常通过更新模型参数学习新任务。随着任务数量增加，持续修改权重可能带来灾难性遗忘。
HOST采用一个冻结的基础策略，再配合视频技能记忆库。技能获取由此与参数更新分开，进一步形成Foundation Model与External Skill Memory相结合的架构。
四、五个核心判断
尽管三条技术路线不同，它们指向了一些相近的判断。
第一，逐任务训练的模式正在接近极限。
现实世界中的任务呈长尾分布，数量近乎无限。为每一种任务分别采集上千条演示数据，很难支撑机器人的规模化应用。
第二，大规模预训练是One-Shot成立的基础。
One-Shot依靠模型此前积累的物理经验。一条演示负责唤起这些经验，让模型知道当前应该调用哪一种能力。
真正发挥作用的，是模型从百万级物理经验中学到的Physical Prior。单条演示更像一把钥匙或一个索引，为当前任务找到对应的能力。
第三，演示比语言指令携带更多物理信息。
语言主要传递「做什么」，演示还会同时提供「如何做」，其中包括运动轨迹、力控方式和动作时序等细节。
第四，任务知识正在从权重延伸到上下文。
过去，任务知识主要存储在模型参数中，每学习一个新任务都需要修改权重。
现在，通用物理知识继续沉淀在固定参数中，当前任务则以Context的形式动态输入。模型可以在参数保持稳定的情况下，根据上下文调用新技能。
第五，One-Shot的最终价值在于缩短Deployment Cycle。
过去，一个新任务从提出到上线，通常需要数天乃至数周的数据采集和模型训练。
现在，人完成一次演示，机器人便可以直接尝试。新任务的部署周期由此缩短到几分钟。
五、终局讨论
如果One-Shot成立，具身智能的终局目标也会随之变化。
过去，人们希望训练一个把所有技能都写入权重的通用策略。未来，更重要的能力将是搭建一套系统，让新技能快速进入、完成验证，并在后续任务中持续积累和复用。
在这套系统中，大规模Physical Pretraining提供长期能力，帮助模型沉淀物理先验、接触常识和动作基元。
语言和视频负责提供当前任务。语言定义目标，视频或演示提供操作过程、动作时序、力控方式和Affordance。
World Model负责理解和推演，将人类演示中的任务进度映射成机器人自己的未来观测。
Context和Memory承担新技能的快速调用。演示、轨迹、任务状态机和视频片段都可以成为技能载体，在模型运行时直接提供任务信息，模型权重则保持稳定。
SFT和RL继续推动能力提升，将一次示范获得的Competence逐步提升至工业应用所需的Mastery，进一步解决稳定性、执行速度和规模化部署问题。
这条路线最终指向一个目标：
让机器人面对第1001个任务时，看一遍就能开始做，并且越用越强。
📪 Xbotics长期向具身智能开发者、研究者和学习者开放投稿。欢迎分享论文解读、技术实践、项目复盘、行业观察和学习心得，让有价值的经验被更多人看见。后台回复「投稿」，获取投稿方式。
-END-
Ask Me Anything｜提问箱
对文章有疑惑，或想聊更深？欢迎把你的问题丢给我们：技术方案、实操踩坑、课程与资料、项目合作、职业发展，都可以问。
怎么问：在评论区留言，或私信公众号
我们会做什么：每周集中整理高质量问题并公开回复，重点问题邀请作者或嘉宾深度解答；典型问题会加入知识库并持续更新。
提问小提示：尽量说明「你的目标—当前做法—期望产出」，附上必要信息（硬件/软件版本、数据规模等），能更快获得有用答案。
一起把问题变成知识，推动社区进步 🚀
