点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
近年来，VLM 和 VLA 推动了机器人能力的快速发展，但现有研究大多聚焦于单机器人。真实世界中的递送物品、共同搬运等任务，往往需要多个机器人配合。每个机器人既要完成自身操作，也要理解同伴的意图，并随着任务进展调整行为，这让长程协作仍然面临挑战。
与此同时，现有 Benchmark 对多机器人任务的支持仍然有限，难以系统评估从高层协调到实际动作执行的完整过程。
我们推出 DuoMind 框架，希望通过语义交流连接协作推理与动作执行，并构建相应的基准 RoboPoly ，研究和评估多机器人的协作能力。
论文：DuoMind: Enabling Distributed Multi-Robot Coordination with Semantic Communication
项目主页与更多演示：https://hanchuzhou.github.io/duomind_project_page/
论文全文：https://arxiv.org/pdf/2610.02161
Benchmark代码：https://github.com/ucd-dare/DuoMind
RoboPoly 数据集：https://huggingface.co/datasets/ucd-dare/robopoly_demo/tree/main
为什么有了动作模型，还需要协作推理？
VLA 能够根据图像和语言指令生成机器人动作。但在多机器人协作任务中，一条“把若干食物放到托盘上”的总指令，并没有明确说明每个阶段应该由哪个机器人拿取、递交或等待。缺乏更细化的任务分配，两个机器人始终各自按照同一条总指令行动，它们可能同时伸向同一个位置，也可能在需要配合时错开时机。动作执行中的偏差还会进一步改变任务状态，让后续操作变得更难判断。
我们的动机是：能否在多机器人任务中，让每个机器人既能细致地执行动作，也能根据当前状态和同伴的信息，持续判断下一步该做什么？
为此，我们提出了 DuoMind，通过语义通信实现多机器人协作的分布式分层框架。
每个机器人，都有自己的协调器和动作模型
DuoMind 为每个机器人配置了两个模块：基于 VLM 的协调器，以及基于 VLA 的动作模型。协调器负责理解任务、判断进展和与同伴交流；动作模型接收具体指令，生成细粒度的机器人动作。
在每次高层规划时，协调器结合总体任务、当前观测和其他机器人发来的消息，同时生成两类输出：一条交给自身动作模型执行的指令，以及一条发送给同伴的消息。随后，动作模型执行当前子任务，协调器则在后续规划中继续根据环境变化调整安排。
图 1：每个机器人独立进行高层推理和底层控制，通过语义消息交换协作所需的关键信息。
这里，高层协调以较低频率运行，底层动作则以较高频率执行。两者通过自然语言连接，不需要为推理模型和动作模型联合训练一个专用接口。实验中，我们采用 Qwen3-VL-4B-Instruct 作为高层协调器，并对底层 π0.5 动作模型进行 LoRA 微调，以保证适应任务环境和指令。
机器人之间，究竟需要交流什么？
在共享的工作空间中，看到同伴的位置，并不意味着知道它接下来要做什么。例如，两个机器人都看到了桌上的面包，但仍可能同时抓取同一个面包。又如，一起抬锅时，一个机器人已经开始抬起，另一个却还没有握稳把手。
DuoMind 将机器人之间的消息组织为四类信息：当前意图、预期子目标、对任务状态的判断，以及可选的判断不确定性。 当前意图让同伴知道自己接下来准备执行什么；子目标说明这一步希望达到的状态；任务判断补充自己观察或推断到的信息；不确定性则帮助同伴衡量这些判断是否可靠。
以递交物品为例，这些信息可以帮助同伴区分“我准备把物品递过去”和“物品已经交接完成”，从而选择接取、等待或其他操作。分享的信息直接参与后续决策，让机器人能够随着任务进展调整行为，而不容易在同一个任务上打架，或是都忽略了某个任务。
RoboPoly：让协作落实到完整的操作过程
为了系统地评估这类能力，我们构建了 RoboPoly，包含 7 个需要长程协作的仿真操作任务，包括食物递送、准备点心、清理桌面、锅具烹饪、物品入柜、挂包和交换物体。
图 2：RoboPoly 的七项任务，以及DuoMind在两个基准上的平均表现。
这些任务对协作的要求各不相同。有些物品和目标位置超出了单个机器人的可达范围，需要其他机器人协助抓取；有些任务允许同时操作，但要求机器人避免互相干扰；还有些任务需要按顺序完成多步操作，再共同搬运物体。
例如，在 Cook Pot 任务中，机器人需要先移开锅盖、放入胡萝卜、盖好锅盖，然后一起握住两侧把手，将锅搬到炉子上。整个过程既考验单步操作，也考验步骤衔接和动作同步。
在观测设置上，每个机器人都能看到共享的全局相机和自己的腕部相机，但无法访问同伴的腕部相机，也只能控制自身的机械臂。我们希望在这种分布式设置下，检验机器人能否依靠各自的观测与消息交流，完成完整的闭环操作。
分层推理和信息交流，带来了怎样的提升？
我们在 RoboPoly 的 7 个任务和 RoboTwin 的 8 个任务中进行了验证，每项任务评估 400 次。对于原本采用集中式双臂控制的 RoboTwin，我们将两条机械臂分别作为独立智能体控制，以评估分布式协作能力。
DuoMind在Cook Pot中的表现
DuoMind在Food Serve中的表现
DuoMind在Prepare Snack中的表现
DuoMind在Clean Table中的表现
图3：DuoMind 与仅使用动作模型的基线在两个仿真基准上的成功率。
结果表明，DuoMind 在 RoboPoly 上的平均成功率为 35.75% ，高于仅使用 π0.5 的 21.68% 。其中部分任务有大幅提升，如 Cook Pot 从 1.00% 提升至 39.25%，Hang Bag 从 52.25% 提升至 78.00%，Exchange Bread 从 17.50% 提升至 31.00%。在 RoboTwin 上，DuoMind 也在多数任务中取得明显提升。
图 4：保留高层协调器、关闭机器人间通信后的成功率对比。
为了进一步理解消息交流的作用，我们保留高层协调器，仅关闭机器人之间的通信。实验中，我们观察到更多动作冲突和不同步的行为：例如，一侧尚未握稳锅把手，另一侧就开始抬锅；两个机器人也可能同时向同一个盘子放面包，导致机械臂在盘子上方发生冲突。加入通信后，七项 RoboPoly 任务的成功率均有所改善。
图 5：将底层动作模型替换为 π0 后，分层协调仍能改善协作表现。
我们还将底层模型从 π0.5 替换为 π0。虽然整体表现随底层动作能力下降，但加入 DuoMind 后，仍明显优于仅使用 π0 的基线。这说明，高层推理带来了明显的协调作用。DuoMind对高层推理和底层控制的模型解耦，当未来更强的推理模型或动作模型出现时，可以将其替换以提升性能。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
