全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

Isaac Lab 强化学习开发与策略回放实践

最近更新时间:2026-11-12 16:49:27

背景信息

本文以 Franka 机械臂到达任务为例,介绍如何在星泓训推平台配置并行仿真、训练 PPO 策略、查看训练曲线,并加载检查点录制策略回放。

项目

本文配置

官方镜像

Isaac-sim5.1.0-lab2.3.1

Isaac Sim / Lab

5.1.0 / 2.3.1

算法

RSL-RL PPO

任务

Isaac-Reach-Franka-v0

准备工作

计算资源与运行要求

  1. 登录星泓训推平台,准备可用的资源组和队列。

  2. 确保账号具有开发任务及对应资源和存储的使用权限。

  3. 选择满足 Isaac Sim 5.1 系统要求的 RTX GPU 环境,需支持图形渲染与录像。离线使用时需提前准备匹配的场景与机器人资产。

本文命令在 Linux 开发环境的 Bash 终端执行。

配置持久化存储

  1. 在“公共资产管理 → 存储配置”中,新建或选择可读写的存储配置。

  2. 核对存储根目录、访问权限和挂载路径。本文使用 /mnt/data,任务创建时需在“挂载配置”中选择该存储。

  3. 本文文件放在 /mnt/data/isaaclab。如果修改挂载路径,后续命令中的路径也需同步修改。

使用文件存储 KPFS 时,选择对应目录作为存储根目录。使用 KS3 上传本地数据或模型时:

  1. 在本地准备文件并解压数据集,保留原目录结构。

  2. 登录对象存储控制台,选择“存储空间”,打开目标空间。

  3. 选择“内容管理 → 上传文件”,上传数据或模型。

  4. 回到平台的“存储配置”,选择该 KS3 实例及对应的 KS 路径。

挂载后的文件路径由存储根目录决定。例如,需要 /mnt/data/isaaclab/workspace 时,所选根目录内应包含 isaaclab/workspace,避免重复嵌套目录。直接在容器内创建 /mnt/data 不会自动形成持久化挂载。

操作步骤

步骤一:创建并连接开发任务

  1. 进入“快速上手 → 一键启动”,点击“Isaac Lab强化学习开发”卡片的“立即前往”。

  2. 填写任务名称;镜像类型选择“官方镜像”,使用模板预选的 Isaac-sim5.1.0-lab2.3.1。

  3. 选择准备好的资源组、队列和资源规格,在“挂载配置”中选择可读写存储,确认挂载路径为 /mnt/data,点击“确定”。

  4. 等待开发任务状态变为“运行中”,在列表操作列点击“连接”。

  5. 在连接窗口选择 WebIDE,本文使用 Jupyter Notebook;进入 JupyterLab 后,选择 Other → Terminal,打开终端。

图中名称和资源配置为入口示意,按本文的资源要求选择实际配置。

步骤二:检查存储与运行环境

先核对任务详情中的挂载配置,再检查目录和可用容量:

ls -ld /mnt/data
df -h /mnt/data

查找镜像内的启动脚本:

nvidia-smi
find /root /opt /workspace /isaaclab /isaac-sim -maxdepth 5 -name isaaclab.sh 2>/dev/null

填写实际脚本所在目录,并通过该脚本使用 Isaac 环境:

read -r -p '请输入 isaaclab.sh 所在目录:' ISAACLAB_DIR
export ISAACLAB_DIR
test -f "$ISAACLAB_DIR/isaaclab.sh"
cat "$ISAACLAB_DIR/VERSION"
bash "$ISAACLAB_DIR/isaaclab.sh" -p -c 'import torch,rsl_rl,onnx,moviepy,imageio_ffmpeg; print(torch.__version__); print(torch.cuda.is_available())'
mkdir -p /mnt/data/isaaclab/workspace
cd /mnt/data/isaaclab/workspace

Lab 应为 2.3.1,CUDA 检查应返回 True。缺少 rsl_rl、ONNX 或录像依赖时先核对镜像,不在任务中整体升级 Isaac 环境。以下命令从持久化工作目录启动,日志保存在挂载存储中。新终端需重新设置 ISAACLAB_DIR 并切换工作目录。

步骤三:加载 Franka 仿真任务

先运行零动作示例,检查机械臂场景和仿真环境:

bash "$ISAACLAB_DIR/isaaclab.sh" -p \
  "$ISAACLAB_DIR/scripts/environments/zero_agent.py" \
  --task Isaac-Reach-Franka-v0 \
  --num_envs 16 \
  --headless

终端出现 Gym observation space、Gym action space,且没有设备错误后,按 Ctrl+C 结束。该脚本不会逐步打印动作或奖励;无窗口模式也不会显示机械臂画面,不能以“没看到窗口”判断失败。该脚本只用于检查仿真,不训练策略。离线环境需预置相同版本的完整资产及其访问配置。--headless 表示不打开窗口,渲染和驱动要求仍需满足。

步骤四:训练 PPO 策略并查看曲线

本文在开发终端前台执行算法,运行期间保持终端会话连接。开发任务显示“运行中”表示开发环境已经启动,算法进度以终端输出和日志文件为准。

cd /mnt/data/isaaclab/workspace
export ISAACLAB_LOG=/mnt/data/isaaclab/workspace/train_$(date +%Y%m%d_%H%M%S).log
set -o pipefail
bash "$ISAACLAB_DIR/isaaclab.sh" -p \
  "$ISAACLAB_DIR/scripts/reinforcement_learning/rsl_rl/train.py" \
  --task Isaac-Reach-Franka-v0 \
  --num_envs 64 \
  --max_iterations 150 \
  --run_name franka_reach_guide \
  --logger tensorboard \
  --headless \
  2>&1 | tee "$ISAACLAB_LOG"

参数

含义

--task

已注册的机器人任务

--num_envs

并行仿真环境数

--max_iterations

训练迭代次数

--run_name

本次运行的名称后缀

--logger

日志记录方式,本例在本地保存 TensorBoard 日志

本例使用 64 个并行环境,训练 150 次迭代。可根据任务需要调整迭代次数;资源不足时减少并行环境数。终端会输出奖励、回合长度等训练指标,并打印准确的日志路径,完整输出同时保存在 ISAACLAB_LOG 指定的文件中。

默认结果结构:

/mnt/data/isaaclab/workspace/logs/rsl_rl/franka_reach/
└── <时间>_franka_reach_guide/
    ├── model_*.pt
    ├── events.out.tfevents.*
    └── params/

params 保存本次环境和算法配置,model_*.pt 为策略检查点。训练指标在开发终端中查看;事件文件可下载到本地,用 TensorBoard 打开本次运行目录查看曲线。

如需在本地查看曲线,可先打包训练日志:

tar -czf /mnt/data/isaaclab/franka_reach_logs.tar.gz \
  -C /mnt/data/isaaclab/workspace/logs/rsl_rl franka_reach

通过 WebIDE 文件浏览器下载该压缩包,在本地解压。在本地终端安装 TensorBoard,打开解压后的 franka_reach 目录;已安装时可跳过安装命令:

python -m pip install tensorboard
python -m tensorboard.main --logdir ./franka_reach --port 6006

在本地浏览器访问 http://localhost:6006,查看训练曲线。

步骤五:加载策略并录制回放

先列出检查点,按本次运行选择具体文件:

find /mnt/data/isaaclab/workspace/logs/rsl_rl/franka_reach -name 'model_*.pt'
read -r -p '请输入本次运行的检查点完整路径:' ISAACLAB_CHECKPOINT
test -f "$ISAACLAB_CHECKPOINT"
bash "$ISAACLAB_DIR/isaaclab.sh" -p \
  "$ISAACLAB_DIR/scripts/reinforcement_learning/rsl_rl/play.py" \
  --task Isaac-Reach-Franka-v0 \
  --num_envs 1 \
  --checkpoint "$ISAACLAB_CHECKPOINT" \
  --video \
  --video_length 200 \
  --headless

录制 200 个仿真步后脚本退出。视频位于检查点所在目录的 videos/play,导出策略位于 exported。脚本的 --video 会自动启用相机。

执行以下命令确认视频和导出文件已生成,再在 WebIDE 或 Jupyter 文件浏览器中下载 MP4,观察机械臂行为:

ls -lh "$(dirname "$ISAACLAB_CHECKPOINT")/videos/play/"
ls -lh "$(dirname "$ISAACLAB_CHECKPOINT")/exported/policy.pt" \
  "$(dirname "$ISAACLAB_CHECKPOINT")/exported/policy.onnx"

步骤六:修改任务并保存结果

在环境配置中修改场景、观测、动作、奖励和终止条件,在 PPO 配置中调整算法参数。替换任务时,核对目标任务是否提供 RSL-RL 配置;训练和回放使用匹配的模型、观测和动作定义。

数据、模型、日志和结果保存在 /mnt/data/isaaclab,由挂载存储保留。

  1. 重新使用结果时,创建或启动使用相同镜像的开发任务,并挂载同一存储。

  2. 在新终端中恢复 ISAACLAB_DIR 和本次检查点路径,并切换到 /mnt/data/isaaclab/workspace,使用原实验目录读取结果。

  3. 如修改了镜像内的代码或依赖,在开发任务列表选择“更多 → 保存镜像”保存环境。挂载目录中的文件由存储保留,不随镜像一起备份。

  4. 确认脚本结束、结果文件保存完成后,在任务列表停止不再使用的开发或训练任务,释放资源。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈