来源：阿木实验室
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
01 环境部署
安装Conda、ROS、CUDA、系统库倚赖项
Conda下载链接:
https://www.anaconda.com/download/success
ROS快捷安装链接:
CUDA链接：
https://developer.nvidia.com/cuda-toolkit-archive
系统库依赖项：
sudo apt-get update && sudo apt-get install -y --no-install-recommends \build-essential \cmake \libzmqpp-dev \libopencv-dev \libpcl-dev
02 环境变量
将catkin工作区的来源添加为FLIGHTMARE_PATH环境变量
echo "export FLIGHTMARE_PATH=~/YOPO" >> ~/.bashrcsource ~/.bashrc
03 路径修改
将YOPO压缩包放在用户目录下并解压：
将RPG_Flightmare文件夹放在flightrender目录下，结构如下图所示:
04 创建Python环境
利用conda创建python环境(因已存在yopo，故用yopo_test演示)
conda create --name yopo python=3.8
下载好后如下图所示，并使用conda activate yopo激活：
激活后如下图所示：
05 配置Python环境
conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1pytorch-cuda=11.8 -c pytorch -c nvidia
正常情况如下图：
安装opencv-python
pip install opencv-python
安装gym和stable-baseline3
pip install gym stable-baselines3
安装其他工具
pip install scipy==1.10.1 scikit-build==0.18.1 ruamel-yaml==0.17.21 numpy==1.22.3tensorboard==2.8.0 empy catkin_pkg
06 构建flightlib
conda activate yopocd YOPO/flightlib/buildcmake ..
07 编译flightlib
make -j4
08 安装flightgym
cd YOPO/flightlib/buildpip install -e .Pip install .
09 配置flightpolicy模块
echo "export PYTHONPATH=$PYTHONPATH:~/YOPO" >> ~/.bashrcsource ~/.bashrc
10 数据收集模块
cd ~/YOPO/runconda activate yopopython data_collection_simulation.py
安装tqdm:
pip install tqdm
数据收集过程如下:
收集完成如下所示：
11 模型训练
cd ~/YOPO/runconda activate yopopython run_yopo.py --train=1
训练完成后模型保存如下：
12 测试1
无需动力学模型和控制器即可测试
cd ~/YOPO/runconda activate yopopython run_yopo.py --train=0 --render=1 --trial=1 --epoch=0 --iter=0 --supervised=0
编译控制器
13 测试2
使用动力学模型和控制器进行测试
每一个下划线都在一个终端中执行，需要多个终端。
使用 Unity 和 ROS 接口启动模拟环境:cd ~/YOPO/flightrender/RPG_Flightmare./flightmare.x86_64------------------------------cd ~/YOPO/flightlib/build./flightros_node------------------------------------------------------启动控制器cd ~/YOPO source devel/setup.bashroslaunch so3_quadrotor_simulator simulator.launch-----------------------------------------------------------------------------加载模型开始规划：cd ~/YOPO/runconda activate yopopython test_yopo_ros_new.py---------------------------------------------------启动Rviz可视化cd ~/YOPO/rviz -d yopo.rviz-------------------------------------------------------启动可视化地图cd ~/YOPO/flightlib/build./map_visual_node
端到端路径规划测试
在rviz环境下启动 YOPO 后，通过鼠标点选目标点即可触发完整闭环：目标坐标被发送至YOPO推理模块，生成对应轨迹并解算为控制指令下发至无人机；实测中无人机能够按规划路径完成自主避障与运动。
当进入目标点的设定阈值范围，终端输出“arrive”，随后停止下发控制指令，无人机在当前位置悬停；如需前往新的位置，继续在rviz点选目标即可，流程稳定可复用。
3D视觉硬件，官网：www.3dcver.com
3D视觉学习圈子
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
3D视觉全栈学习课程：www.3dcver.com
3D视觉交流群成立啦，微信：cv3d001
