最近更新时间:2026-11-12 16:49:27
本文介绍如何使用星泓训推平台的 OpenPI 开发环境,基于 LIBERO 数据进行 π0 LoRA 微调,并加载检查点生成动作序列。
项目 | 本文配置 |
|---|---|
官方镜像 |
|
模型 | π0 |
微调配置 |
|
项目代码 |
|
Python | 3.11 或更高版本 |
登录星泓训推平台,准备可用的资源组和队列。
确保账号具有开发任务及对应资源和存储的使用权限。
使用支持 JAX CUDA 的单 GPU 环境。官方 LoRA 微调显存参考为超过 22.5 GB,资源选择需为 batch size 等参数留出余量。首次运行需要访问 Hugging Face 和 Google Cloud Storage。
本文命令在 Linux 开发环境的 Bash 终端执行。
在“公共资产管理 → 存储配置”中,新建或选择可读写的存储配置。
核对存储根目录、访问权限和挂载路径。本文使用 /mnt/data,任务创建时需在“挂载配置”中选择该存储。
本文文件放在 /mnt/data/openpi。如果修改挂载路径,后续命令中的路径也需同步修改。
使用文件存储 KPFS 时,选择对应目录作为存储根目录。使用 KS3 上传本地数据或模型时:
在本地准备文件并解压数据集,保留原目录结构。
登录对象存储控制台,选择“存储空间”,打开目标空间。
选择“内容管理 → 上传文件”,上传数据或模型。
回到平台的“存储配置”,选择该 KS3 实例及对应的 KS 路径。
挂载后的文件路径由存储根目录决定。例如,需要 /mnt/data/openpi/datasets 时,所选根目录内应包含 openpi/datasets,避免重复嵌套目录。直接在容器内创建 /mnt/data 不会自动形成持久化挂载。
进入“快速上手 → 一键启动”,点击“OpenPI:π0模型开发”卡片的“立即前往”。
填写任务名称;镜像类型选择“官方镜像”,使用模板预选的 openpi-v1.0。
选择准备好的资源组、队列和资源规格,在“挂载配置”中选择可读写存储,确认挂载路径为 /mnt/data,点击“确定”。
等待开发任务状态变为“运行中”,在列表操作列点击“连接”。
在连接窗口选择 WebIDE,本文使用 Jupyter Notebook;进入 JupyterLab 后,选择 Other → Terminal,打开终端。
图中名称和资源配置为入口示意,按本文的资源要求选择实际配置。
先核对任务详情中的挂载配置,再检查目录和可用容量:
ls -ld /mnt/data
df -h /mnt/data
缓存和检查点需要读写、重命名、符号链接及文件锁支持。执行以下命令检查工作目录,检查文件会在结束时自动清理:
python - <<'PY'
from pathlib import Path
import fcntl
import tempfile
with tempfile.TemporaryDirectory(prefix=".storage-check-", dir="/mnt/data") as folder:
root = Path(folder)
original = root / "original.txt"
original.write_text("storage-ok", encoding="utf-8")
renamed = original.rename(root / "renamed.txt")
link = root / "linked.txt"
link.symlink_to(renamed.name)
assert link.read_text(encoding="utf-8") == "storage-ok"
with (root / "check.lock").open("w") as lock:
fcntl.flock(lock, fcntl.LOCK_EX | fcntl.LOCK_NB)
fcntl.flock(lock, fcntl.LOCK_UN)
print("存储操作检查通过")
PY
如果操作失败,先检查挂载权限及存储类型;不支持上述操作时,使用文件存储 KPFS 作为工作目录。
先查找镜像中的 OpenPI 统计脚本。OPENPI_DIR 填写项目根目录,该目录需同时包含 scripts/train.py、scripts/compute_norm_stats.py 和 src/openpi。后续命令使用同一项目和 Python 环境。
find /root /opt /workspace /app /isaaclab -maxdepth 6 -path '*/scripts/compute_norm_stats.py' 2>/dev/null
read -r -p '请输入 OpenPI 项目根目录:' OPENPI_DIR
export OPENPI_DIR
cd "$OPENPI_DIR"
if [ -f "$OPENPI_DIR/.venv/bin/activate" ]; then
source "$OPENPI_DIR/.venv/bin/activate"
fi
test -f scripts/train.py
test -f scripts/compute_norm_stats.py
export PYTHONPATH="$OPENPI_DIR/src:$OPENPI_DIR/packages/openpi-client/src:${PYTHONPATH:-}"
python - <<'PY'
import sys
import jax
from openpi.training import config
print("Python:", sys.version)
print("executable:", sys.executable)
print("devices:", jax.devices())
assert sys.version_info >= (3, 11), "本例需要 Python 3.11 或更高版本的项目环境"
assert any(device.platform == "gpu" for device in jax.devices()), "JAX 未识别到 GPU"
print("config:", config.get_config("pi0_libero_low_mem_finetune").name)
print("config source:", config.__file__)
PY
python scripts/train.py --help
Python 应为 3.11 或更高版本,JAX 设备列表中应包含 GPU。若环境不匹配,检查当前使用的 Python 和所选镜像,保持项目锁定的依赖版本。新终端需重新设置 OPENPI_DIR 和 PYTHONPATH;项目使用 .venv 时,同样先激活该环境。
本例配置为 pi0_libero_low_mem_finetune:
内容 | 使用值 |
|---|---|
数据集 |
|
初始权重 |
|
微调方式 | π0 LoRA |
语言指令 | 从数据集任务信息读取 |
设置持久化缓存和工作目录。后续脚本通过绝对路径调用,并从同一工作目录运行,归一化统计也保存在挂载存储中:
export HF_HOME=/mnt/data/openpi/cache/huggingface
export HF_LEROBOT_HOME=/mnt/data/openpi/datasets
export OPENPI_DATA_HOME=/mnt/data/openpi/cache/openpi
export OPENPI_WORKSPACE=/mnt/data/openpi/workspace
mkdir -p "$HF_HOME" "$HF_LEROBOT_HOME" "$OPENPI_DATA_HOME" "$OPENPI_WORKSPACE" /mnt/data/openpi/checkpoints
cd "$OPENPI_WORKSPACE"
set -o pipefail
python "$OPENPI_DIR/scripts/compute_norm_stats.py" \
--config-name pi0_libero_low_mem_finetune \
2>&1 | tee "$OPENPI_WORKSPACE/compute_norm_stats.log"
首次运行会下载数据,并遍历数据计算统计;耗时取决于数据量。确认以下文件存在后继续:
test -f "$OPENPI_WORKSPACE/assets/pi0_libero_low_mem_finetune/physical-intelligence/libero/norm_stats.json"
初始权重和 gs://big_vision/paligemma_tokenizer.model 在训练时按配置下载至 OPENPI_DATA_HOME。本例在线运行需要访问 Hugging Face 和 Google Cloud Storage;离线准备不能只拷贝 π0 权重,还需保留数据、分词器及完整缓存结构。保持 OpenPI 项目锁定的 LeRobot 版本,避免在该环境中替换其他版本。
本文在开发终端前台执行算法,运行期间保持终端会话连接。开发任务显示“运行中”表示开发环境已经启动,算法进度以终端输出和日志文件为准。
cd "$OPENPI_WORKSPACE"
export OPENPI_EXP=libero_lora_$(date +%Y%m%d_%H%M%S)
export WANDB_MODE=disabled
XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 python "$OPENPI_DIR/scripts/train.py" \
pi0_libero_low_mem_finetune \
--exp-name="$OPENPI_EXP" \
--batch-size=4 \
--num-train-steps=1000 \
--save-interval=500 \
--assets-base-dir="$OPENPI_WORKSPACE/assets" \
--checkpoint-base-dir=/mnt/data/openpi/checkpoints \
2>&1 | tee "$OPENPI_WORKSPACE/$OPENPI_EXP.train.log"
本例运行 1,000 步,每 500 步保存检查点。可根据任务需要增加训练步数;显存不足时调小 batch-size。
在开发终端和本次 .train.log 文件中查看训练步数、loss 和保存日志。检查点位于:
/mnt/data/openpi/checkpoints/pi0_libero_low_mem_finetune/<OPENPI_EXP>/
等待脚本完成检查点写入后再停止任务。末级目录按实际保存步数命名,不假定一定为 1000。
保持本次实验变量,执行:
export OPENPI_RUN_DIR=/mnt/data/openpi/checkpoints/pi0_libero_low_mem_finetune/$OPENPI_EXP
cd "$OPENPI_WORKSPACE"
python - <<'PY'
import os
from pathlib import Path
import numpy as np
from openpi.policies import libero_policy, policy_config
from openpi.training import config
run_dir = Path(os.environ["OPENPI_RUN_DIR"])
checkpoints = [p for p in run_dir.iterdir() if p.is_dir() and p.name.isdigit()]
if not checkpoints:
raise RuntimeError("未找到检查点,请检查训练日志和输出目录")
checkpoint = max(checkpoints, key=lambda p: int(p.name))
policy = policy_config.create_trained_policy(
config.get_config("pi0_libero_low_mem_finetune"), checkpoint
)
observation = libero_policy.make_libero_example()
observation["prompt"] = "pick up the object"
actions = policy.infer(observation)["actions"]
assert actions.ndim == 2 and actions.shape[-1] == 7, "LIBERO 动作输出形状异常"
assert np.isfinite(actions).all(), "动作输出包含非有限数值"
np.save(run_dir / "sample_actions.npy", actions)
print("checkpoint:", checkpoint)
print("actions shape:", actions.shape)
PY
sample_actions.npy 保存模型输出的动作序列。本步骤使用随机观测演示推理接口,不执行机器人控制。计算任务成功率时,需将策略接入 LIBERO 环境,使用任务观测完成回合评估。
自有数据需新增配置,明确图像、状态、动作和语言指令的映射,核对动作空间及相对动作处理,并重新计算归一化统计。
数据、模型、日志和结果保存在 /mnt/data/openpi,由挂载存储保留。
重新使用结果时,创建或启动使用相同镜像的开发任务,并挂载同一存储。
在新终端中恢复 OPENPI_DIR、PYTHONPATH、缓存变量、OPENPI_WORKSPACE 和 OPENPI_EXP,使用原实验目录读取结果。
如修改了镜像内的代码或依赖,在开发任务列表选择“更多 → 保存镜像”保存环境。挂载目录中的文件由存储保留,不随镜像一起备份。
确认脚本结束、结果文件保存完成后,在任务列表停止不再使用的开发或训练任务,释放资源。
查看已有结果时,OPENPI_EXP 使用原实验名称。归一化统计保存在工作目录的 assets 中,训练和推理使用对应的统计及检查点。
纯净模式
