RoboDexVLM：基于VLM分层架构的通用灵巧机器人操作

RoboDexVLM是一个面向配备灵巧手的协作机械臂的创新型机器人任务规划与抓取检测框架。

现有方法通常聚焦于简化且受限的操作任务，往往忽视了以长时序方式抓取多样化物体所伴随的复杂性。相比之下，RoboDexVLM框架利用灵巧手能够抓取不同形状和尺寸物体的能力，同时基于自然语言指令执行任务。

该方法的核心组成部分如下：首先，设计了一个具备任务级恢复机制的鲁棒任务规划器，它利用视觉语言模型使系统能够解析并执行开放词汇指令以完成长序列任务。其次，提出了一种基于机器人运动学和形式化方法的语言引导灵巧抓取感知算法，专为面向多样化物体和指令的零样本灵巧操作而设计。全面的实验结果验证了 RoboDexVLM 在处理长时序场景和执行灵巧抓取方面的有效性、适应性和鲁棒性。这些结果突显了该框架在复杂环境中运行的能力，展示了其在开放词汇灵巧操作方面的潜力。