最近更新时间:2026-11-12 16:49:27
本文以 Franka 机械臂到达任务为例,介绍如何在星泓训推平台配置并行仿真、训练 PPO 策略、查看训练曲线,并加载检查点录制策略回放。
项目 | 本文配置 |
|---|---|
官方镜像 |
|
Isaac Sim / Lab | 5.1.0 / 2.3.1 |
算法 | RSL-RL PPO |
任务 |
|
登录星泓训推平台,准备可用的资源组和队列。
确保账号具有开发任务及对应资源和存储的使用权限。
选择满足 Isaac Sim 5.1 系统要求的 RTX GPU 环境,需支持图形渲染与录像。离线使用时需提前准备匹配的场景与机器人资产。
本文命令在 Linux 开发环境的 Bash 终端执行。
在“公共资产管理 → 存储配置”中,新建或选择可读写的存储配置。
核对存储根目录、访问权限和挂载路径。本文使用 /mnt/data,任务创建时需在“挂载配置”中选择该存储。
本文文件放在 /mnt/data/isaaclab。如果修改挂载路径,后续命令中的路径也需同步修改。
使用文件存储 KPFS 时,选择对应目录作为存储根目录。使用 KS3 上传本地数据或模型时:
在本地准备文件并解压数据集,保留原目录结构。
登录对象存储控制台,选择“存储空间”,打开目标空间。
选择“内容管理 → 上传文件”,上传数据或模型。
回到平台的“存储配置”,选择该 KS3 实例及对应的 KS 路径。
挂载后的文件路径由存储根目录决定。例如,需要 /mnt/data/isaaclab/workspace 时,所选根目录内应包含 isaaclab/workspace,避免重复嵌套目录。直接在容器内创建 /mnt/data 不会自动形成持久化挂载。
进入“快速上手 → 一键启动”,点击“Isaac Lab强化学习开发”卡片的“立即前往”。
填写任务名称;镜像类型选择“官方镜像”,使用模板预选的 Isaac-sim5.1.0-lab2.3.1。
选择准备好的资源组、队列和资源规格,在“挂载配置”中选择可读写存储,确认挂载路径为 /mnt/data,点击“确定”。
等待开发任务状态变为“运行中”,在列表操作列点击“连接”。
在连接窗口选择 WebIDE,本文使用 Jupyter Notebook;进入 JupyterLab 后,选择 Other → Terminal,打开终端。
图中名称和资源配置为入口示意,按本文的资源要求选择实际配置。
先核对任务详情中的挂载配置,再检查目录和可用容量:
ls -ld /mnt/data
df -h /mnt/data查找镜像内的启动脚本:
nvidia-smi
find /root /opt /workspace /isaaclab /isaac-sim -maxdepth 5 -name isaaclab.sh 2>/dev/null填写实际脚本所在目录,并通过该脚本使用 Isaac 环境:
read -r -p '请输入 isaaclab.sh 所在目录:' ISAACLAB_DIR
export ISAACLAB_DIR
test -f "$ISAACLAB_DIR/isaaclab.sh"
cat "$ISAACLAB_DIR/VERSION"
bash "$ISAACLAB_DIR/isaaclab.sh" -p -c 'import torch,rsl_rl,onnx,moviepy,imageio_ffmpeg; print(torch.__version__); print(torch.cuda.is_available())'
mkdir -p /mnt/data/isaaclab/workspace
cd /mnt/data/isaaclab/workspaceLab 应为 2.3.1,CUDA 检查应返回 True。缺少 rsl_rl、ONNX 或录像依赖时先核对镜像,不在任务中整体升级 Isaac 环境。以下命令从持久化工作目录启动,日志保存在挂载存储中。新终端需重新设置 ISAACLAB_DIR 并切换工作目录。
先运行零动作示例,检查机械臂场景和仿真环境:
bash "$ISAACLAB_DIR/isaaclab.sh" -p \
"$ISAACLAB_DIR/scripts/environments/zero_agent.py" \
--task Isaac-Reach-Franka-v0 \
--num_envs 16 \
--headless终端出现 Gym observation space、Gym action space,且没有设备错误后,按 Ctrl+C 结束。该脚本不会逐步打印动作或奖励;无窗口模式也不会显示机械臂画面,不能以“没看到窗口”判断失败。该脚本只用于检查仿真,不训练策略。离线环境需预置相同版本的完整资产及其访问配置。--headless 表示不打开窗口,渲染和驱动要求仍需满足。
本文在开发终端前台执行算法,运行期间保持终端会话连接。开发任务显示“运行中”表示开发环境已经启动,算法进度以终端输出和日志文件为准。
cd /mnt/data/isaaclab/workspace
export ISAACLAB_LOG=/mnt/data/isaaclab/workspace/train_$(date +%Y%m%d_%H%M%S).log
set -o pipefail
bash "$ISAACLAB_DIR/isaaclab.sh" -p \
"$ISAACLAB_DIR/scripts/reinforcement_learning/rsl_rl/train.py" \
--task Isaac-Reach-Franka-v0 \
--num_envs 64 \
--max_iterations 150 \
--run_name franka_reach_guide \
--logger tensorboard \
--headless \
2>&1 | tee "$ISAACLAB_LOG"参数 | 含义 |
|---|---|
| 已注册的机器人任务 |
| 并行仿真环境数 |
| 训练迭代次数 |
| 本次运行的名称后缀 |
| 日志记录方式,本例在本地保存 TensorBoard 日志 |
本例使用 64 个并行环境,训练 150 次迭代。可根据任务需要调整迭代次数;资源不足时减少并行环境数。终端会输出奖励、回合长度等训练指标,并打印准确的日志路径,完整输出同时保存在 ISAACLAB_LOG 指定的文件中。
默认结果结构:
/mnt/data/isaaclab/workspace/logs/rsl_rl/franka_reach/
└── <时间>_franka_reach_guide/
├── model_*.pt
├── events.out.tfevents.*
└── params/params 保存本次环境和算法配置,model_*.pt 为策略检查点。训练指标在开发终端中查看;事件文件可下载到本地,用 TensorBoard 打开本次运行目录查看曲线。
如需在本地查看曲线,可先打包训练日志:
tar -czf /mnt/data/isaaclab/franka_reach_logs.tar.gz \
-C /mnt/data/isaaclab/workspace/logs/rsl_rl franka_reach通过 WebIDE 文件浏览器下载该压缩包,在本地解压。在本地终端安装 TensorBoard,打开解压后的 franka_reach 目录;已安装时可跳过安装命令:
python -m pip install tensorboard
python -m tensorboard.main --logdir ./franka_reach --port 6006在本地浏览器访问 http://localhost:6006,查看训练曲线。
先列出检查点,按本次运行选择具体文件:
find /mnt/data/isaaclab/workspace/logs/rsl_rl/franka_reach -name 'model_*.pt'
read -r -p '请输入本次运行的检查点完整路径:' ISAACLAB_CHECKPOINT
test -f "$ISAACLAB_CHECKPOINT"
bash "$ISAACLAB_DIR/isaaclab.sh" -p \
"$ISAACLAB_DIR/scripts/reinforcement_learning/rsl_rl/play.py" \
--task Isaac-Reach-Franka-v0 \
--num_envs 1 \
--checkpoint "$ISAACLAB_CHECKPOINT" \
--video \
--video_length 200 \
--headless录制 200 个仿真步后脚本退出。视频位于检查点所在目录的 videos/play,导出策略位于 exported。脚本的 --video 会自动启用相机。
执行以下命令确认视频和导出文件已生成,再在 WebIDE 或 Jupyter 文件浏览器中下载 MP4,观察机械臂行为:
ls -lh "$(dirname "$ISAACLAB_CHECKPOINT")/videos/play/"
ls -lh "$(dirname "$ISAACLAB_CHECKPOINT")/exported/policy.pt" \
"$(dirname "$ISAACLAB_CHECKPOINT")/exported/policy.onnx"在环境配置中修改场景、观测、动作、奖励和终止条件,在 PPO 配置中调整算法参数。替换任务时,核对目标任务是否提供 RSL-RL 配置;训练和回放使用匹配的模型、观测和动作定义。
数据、模型、日志和结果保存在 /mnt/data/isaaclab,由挂载存储保留。
重新使用结果时,创建或启动使用相同镜像的开发任务,并挂载同一存储。
在新终端中恢复 ISAACLAB_DIR 和本次检查点路径,并切换到 /mnt/data/isaaclab/workspace,使用原实验目录读取结果。
如修改了镜像内的代码或依赖,在开发任务列表选择“更多 → 保存镜像”保存环境。挂载目录中的文件由存储保留,不随镜像一起备份。
确认脚本结束、结果文件保存完成后,在任务列表停止不再使用的开发或训练任务,释放资源。
纯净模式
