最近更新时间:2026-11-12 16:49:27
本文介绍如何在星泓训推平台创建 RDT + ManiSkill 开发任务,加载机器人操作策略,运行方块抓取仿真,并查看逐回合结果和成功率。
项目 | 本文配置 |
|---|---|
官方镜像 |
|
项目代码 |
|
仿真任务 |
|
评估回合 | 5 |
登录星泓训推平台,准备可用的资源组和队列。
确保账号具有开发任务及对应资源和存储的使用权限。
GPU 需支持 CUDA 和 BF16,容器需具有可用的 Vulkan 渲染环境。RDT、T5 和 SigLIP 编码器均会占用显存。下载源码及模型需要访问 GitHub 和 Hugging Face。
本文命令在 Linux 开发环境的 Bash 终端执行。
在“公共资产管理 → 存储配置”中,新建或选择可读写的存储配置。
核对存储根目录、访问权限和挂载路径。本文使用 /mnt/data,任务创建时需在“挂载配置”中选择该存储。
本文文件放在 /mnt/data/rdt。如果修改挂载路径,后续命令中的路径也需同步修改。
使用文件存储 KPFS 时,选择对应目录作为存储根目录。使用 KS3 上传本地数据或模型时:
在本地准备文件并解压数据集,保留原目录结构。
登录对象存储控制台,选择“存储空间”,打开目标空间。
选择“内容管理 → 上传文件”,上传数据或模型。
回到平台的“存储配置”,选择该 KS3 实例及对应的 KS 路径。
挂载后的文件路径由存储根目录决定。例如,需要 /mnt/data/rdt/model-assets 时,所选根目录内应包含 rdt/model-assets,避免重复嵌套目录。直接在容器内创建 /mnt/data 不会自动形成持久化挂载。
进入“快速上手 → 一键启动”,点击“RDT + ManiSkill机器人操作开发”卡片的“立即前往”。
填写任务名称;镜像类型选择“官方镜像”,使用模板预选的 rdt-maniskill。
选择准备好的资源组、队列和资源规格,在“挂载配置”中选择可读写存储,确认挂载路径为 /mnt/data,点击“确定”。
等待开发任务状态变为“运行中”,在列表操作列点击“连接”。
在连接窗口选择 WebIDE,本文使用 Jupyter Notebook;进入 JupyterLab 后,选择 Other → Terminal,打开终端。
图中名称和资源配置为入口示意,按本文的资源要求选择实际配置。
先核对任务详情中的挂载配置,再检查目录和可用容量:
ls -ld /mnt/data
df -h /mnt/data缓存和检查点需要读写、重命名、符号链接及文件锁支持。执行以下命令检查工作目录,检查文件会在结束时自动清理:
python - <<'PY'
from pathlib import Path
import fcntl
import tempfile
with tempfile.TemporaryDirectory(prefix=".storage-check-", dir="/mnt/data") as folder:
root = Path(folder)
original = root / "original.txt"
original.write_text("storage-ok", encoding="utf-8")
renamed = original.rename(root / "renamed.txt")
link = root / "linked.txt"
link.symlink_to(renamed.name)
assert link.read_text(encoding="utf-8") == "storage-ok"
with (root / "check.lock").open("w") as lock:
fcntl.flock(lock, fcntl.LOCK_EX | fcntl.LOCK_NB)
fcntl.flock(lock, fcntl.LOCK_UN)
print("存储操作检查通过")
PY如果操作失败,先检查挂载权限及存储类型;不支持上述操作时,使用文件存储 KPFS 作为工作目录。
nvidia-smi
python - <<'PY'
from importlib.metadata import version
import torch
import mani_skill
for name in ("torch", "transformers", "diffusers", "mani_skill"):
print(name, version(name))
print("CUDA:", torch.cuda.is_available())
print("BF16:", torch.cuda.is_available() and torch.cuda.is_bf16_supported())
assert torch.cuda.is_available(), "本例需要 CUDA GPU"
assert torch.cuda.is_bf16_supported(), "本例需要支持 BF16 的 GPU"
PYCUDA、BF16 应返回 True。保持镜像提供的依赖版本,避免直接覆盖安装其他 Python/CUDA 组合。
在独立目录准备固定代码;目录已存在时先检查其版本,不重复克隆或覆盖:
mkdir -p /mnt/data/rdt/workspace
cd /mnt/data/rdt/workspace
git clone https://github.com/thu-ml/RoboticsDiffusionTransformer.git rdt-guide
cd /mnt/data/rdt/workspace/rdt-guide
git checkout cd79363a1387e8f81c7724d070ef7e45fd23150f
git rev-parse HEAD
python -m eval_sim.eval_rdt_maniskill --help提交号应与本文一致,帮助中应包含 --env-id、--num-traj 和 --pretrained_path。若导入失败,核对所选镜像及代码版本。本例克隆源码及下载模型需要外网,离线运行时需提前挂载相同版本源码和完整模型缓存。
export HF_HOME=/mnt/data/rdt/cache/huggingface
mkdir -p "$HF_HOME" /mnt/data/rdt/model-assets /mnt/data/rdt/results
python - <<'PY'
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="robotics-diffusion-transformer/maniskill-model",
revision="9622afab2b7ce2312a6cf1febc526928589b77eb",
allow_patterns=["rdt/*", "lang_embeds/*"],
local_dir="/mnt/data/rdt/model-assets",
)
PY
cp /mnt/data/rdt/model-assets/lang_embeds/text_embed_*.pt /mnt/data/rdt/workspace/rdt-guide/
ls /mnt/data/rdt/model-assets/rdt/mp_rank_00_model_states.pt除上述策略检查点外,脚本还会加载 google/t5-v1_1-xxl 和 google/siglip-so400m-patch14-384。首次运行需下载相关模型;离线使用时应预先准备全部缓存。脚本找到预计算语言嵌入后仍会初始化文本编码器,因此仍需预留相应显存。
本文在开发终端前台执行算法,运行期间保持终端会话连接。开发任务显示“运行中”表示开发环境已经启动,算法进度以终端输出和日志文件为准。
从项目根目录运行,权重参数填写具体文件:
cd /mnt/data/rdt/workspace/rdt-guide
export RDT_LOG=/mnt/data/rdt/results/pickcube_$(date +%Y%m%d_%H%M%S).log
set -o pipefail
python -u -m eval_sim.eval_rdt_maniskill \
--env-id PickCube-v1 \
--num-traj 5 \
--random_seed 0 \
--pretrained_path /mnt/data/rdt/model-assets/rdt/mp_rank_00_model_states.pt \
2>&1 | tee "$RDT_LOG"脚本根据图像观测和关节状态执行动作,逐回合输出 Trial ... finished,完成后输出 Success rate。本例应有 5 条回合结果,且进程正常退出;成功率为 0 也可能是有效评估结果,不等同于程序运行失败。
本版本中 --random_seed 控制模型侧随机数,环境重置另固定为 20241201 + 回合序号;仅修改该参数不会更换环境初始状态。比较不同策略时保持回合数、代码、种子、权重和环境版本一致。
遇到 Vulkan 或渲染设备初始化错误时,先检查容器图形环境;GPU 计算可用不代表渲染已经可用。
修改 --env-id 可运行以下任务,语言嵌入需与任务对应:
任务 ID | 操作 |
|---|---|
| 抓取并移动方块 |
| 堆叠方块 |
| 推动方块 |
| 侧向插入 |
| 插接任务 |
在 /mnt/data/rdt/results 查看评估日志及成功率。
开发新任务时,应同步调整环境配置、语言指令、状态索引、动作处理和统计信息。已有权重针对对应环境,不能只改任务名称就适配其他机器人。
数据、模型、日志和结果保存在 /mnt/data/rdt,由挂载存储保留。
重新使用结果时,创建或启动使用相同镜像的开发任务,并挂载同一存储。
在新终端中恢复 HF_HOME,并切换到 /mnt/data/rdt/workspace/rdt-guide,使用原实验目录读取结果。
如修改了镜像内的代码或依赖,在开发任务列表选择“更多 → 保存镜像”保存环境。挂载目录中的文件由存储保留,不随镜像一起备份。
确认脚本结束、结果文件保存完成后,在任务列表停止不再使用的开发或训练任务,释放资源。
纯净模式
