Xdog平台来啦!专为具身开发者准备
Xdog是一款低成本多功能四足机械狗+机械臂开发平台,同时配备完善的课程体系:涵盖机器狗二次开发、机器狗仿真强化、sim2real迁移部署等,该平台是目前国内极具性价比的适合科研学习、具身开发入门的套件。
价格可以底部咨询小助理哦~
硬件系统一览
Xdog是一款典型的机器狗+机械臂平台,并对功能进行了深入研发。目前已经实现语音控制、sim2real、real2sim、目标识别与跟踪、机械臂自主抓取、强化学习步态控制等,包含了具身智能下肢控制的大部分技术栈,通过此课程的学习,学员能够快速的入门机器人下肢控制。
系统基于ROS1进行开发,语音控制通过TCP方式。其它控制有键盘控制,视觉控制,强化自主运动等。
1)机械狗参数
机械狗品牌:蔚蓝。狗子尺寸:长x宽x高为25cmX20cmX30cm。
主控芯片:Allwinner H616(4核1.6GHz,内存4G,存储32G,下位机)

2)硬件结构与距离范围
机械狗与机械臂通过ros链接通信,其中机械臂和总系统通过PC控制。
正上方最高可以抓取0.85m(极限范围),机械臂抓取范围0.4m(围绕基座)。



3)机械狗参数
4)机械臂参数
| | | |
---|
| | | 20KG总线舵机、高精度装配成品(远超市面上其他产品或自主装成机械臂) |
| | | |
| | | |
| | | |
| | | |
5)TOF和相机
| |
---|
| |
| 1280 × 800 @ 30 fps, 640 × 400 @ 30 fps |
| 水平: 70° ± 2°, 垂直: 43° ± 2°, 对角线: 81° ± 2° |
| 0.2m - 10m (最佳精度范围通常在 0.2m - 4m) |
| @0.5m: ≤ 0.5mm, @1.0m: ≤ 1.0mm, @2.0m: ≤ 5.0mm (典型值) |
| |
| 1920 × 1080 (1080p) @ 30 fps |
| 水平: 69°, 垂直: 42°, 对角线: 78° (与深度FOV对齐) |
| 定制化斑点结构光图案 (Class 1 Laser安全等级) |
| |
| |
| Orbbec SDK, OpenNI 2, ROS1/ROS2 (官方驱动包) |
| 150 mm × 25 mm × 25 mm (长×宽×高,不含线缆) |
| 机器人视觉、三维重建、体积测量、物流分拣、骨架跟踪、人机交互 |
软件与功能一览
1)系统控制方式
系统控制方式:语音控制(TCP控制)、键盘控制,视觉控制,强化自主运动等。
2)开发语言与硬件要求
开发语言:python,系统基于ROS1进行开发。推理建议2080ti以上显卡。
3)语音控制机械狗
Xdog具备具有良好的交互性能,接入了主流的大模型,能够很好的理解人类的语言,实现了低延迟、高准确性的友好交互,可以为用户提供良好的情绪价值和交互体验,学员也能够在此基础上进行深入的二次开发。
4)机械臂Real-Sim的控制
根据mujoco仿真去实现了机械臂到仿真的映射和仿真控制机械臂。
5)机械狗与机械臂跟随目标
根据识别算法去协同控制机械臂和机械狗,实时对目标进行跟随。
6)机械臂自主抓取(ACT)
7)狗子强化学习演示
主讲团队
杰西老师,实训项目总负责,主要负责项目推进、授课、软件算法答疑等工作;
小强老师, 实训技术总负责,主要负责硬件问题、授课、算法训练推理等问题答疑等;
土豆老师,实训技术XDog项目总负责,主要负责下一代课程机器狗+机械臂的研发,机械臂的教学工作等
汤老师,项目研发骨干,主要负责xdog硬件、视觉算法等授课、答疑等工作
鲁博士,港大在读博士生, xdog项目技术支持,在强化学习方面有丰富的开发经验
课程表一览
| |
---|
| 即插即用硬盘系统使用教学和技术答疑;NVIDIA驱动和cuda环境确认;xdog环境安装和准备;rodog环境安装和准备; |
| 掌握基础ros知识并实现ros项目创建和topic、service等通信功能so100硬件配置和基础使用lerobot-so100框架基础原理讲解基于ACT算法完成基础的抓取实验 |
【视频课】Mujoco仿真教学+lerobot框架讲解 | Mujoco仿真器使用讲解Mujoco仿真环境中so100lerobot新版框架手把手教学xdog中机械臂基础功能和需要注意的事项 |
| 基于lerobot-so100完成ACT模仿实现,并优化和提高成功率 |
| xdog开箱,讲解使用注意事项xdog网络配置和手机app控制实现xdog的ros环境配置和ros通信打通 |
| 奥比中光ros环境配置相机参数调整和讲解相机和xdog的ros通信打通 |
| 通过指令实现狗的特殊动作尝试添加自己想要实现的组合动作 |
| 具身智能仿真环境讲解和对比isaacgym仿真环境配置xdog在isaacgym中的基础配置 |
| 组装机械狗和机械臂以及深度相机实现深度相机和机械臂的ros通信讲解sim2real加上real2sim |
| 针对周六有问题的学员进行技术指导;老师针对问题汇总文档进行直播答疑或者文档回复; |
| isaacgym深入学习,完成xdog在多种场景中的环境布置仿真环境中加上深度相机实现在仿真环境中的数据采集 |
| 强化学习基本原理讲解PPO基础原理讲解legged_dog框架讲解 |
| DreamWaQ算法原理讲解在平面地形上实现机器狗的步态控制在多种地形上实现机器狗的步态控制在复杂地形上实现机器狗的步态控制和抓取实验 |
| 自己在网上找一些地形资产,训练机器狗在这些地形中进行步态训练尝试将自己身边的环境进行粗颗粒度的建模,并让xdog在这个场景中进行步态控制 |
| yolo家族算法介绍和对比yolo算法的使用与优化xdog目标识别与跟随算法的实现 |
| 卡尔曼滤波原理讲解卡尔曼滤波手撕代码与xdog中的应用真实距离转发及其原理讲解ros相关工程原理讲解 |
| 针对不同的物体进行识别和跟随,并考虑优化解决一些遮挡等问题尝试让xdog实现对特定人的识别和跟踪 |
| xdog狗+臂整体模仿学习框架搭建xdog模仿学习+视觉跟随整体数据采集xdog整体模仿学习跑通和验证实验效果 |
| 整体xdog实验答疑和指导,后期针对xdog进行深入研发技术指导以及具身智能前沿算法交流等 |
| 乐鑫开发板基础使用和开发工具配置乐鑫开发板基础开发和代码烧录等了解小智项目代码框架和开发方法 |
| 小智机器人大模型配置小智机器人与xdog通信打通xdog语音控制系统实现xdog语音控制实现多种动作方案xdog语音控制整体技术框架讲解 |
二次开发要求
GPU建议使用2080ti及以上算力,CPU建议使用i7及以上。
交付周期
付款后3周内完成调试与交付。
售后说明
本产品为硬件+配套课程,购买后,非质量问题,不支持退换。售后服务有效期为签收后的1年。视频和源码会在硬件确认收货后,第一时间提供。
更多咨询
更多内容欢迎咨询小助理微信AIDriver005了解更多;
