全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

训推平台使用

最近更新时间:2026-10-14 16:16:21

文件存储KPFS(Kingsoft cloud Performance File Storage)支持在星流训推平台中使用,可为训推任务提供高性能存储,实现训练数据高速提取、模型参数高吞吐传输,支撑大规模分布式训练任务并行效率提升。

金山云星流训推平台为机器学习场景开发者和运维人员提供云原生AI算力和全流程管理能力支持,由基础资源管理、算力管理工具、训推任务管理、资产与权限管理等模块构成,包含任务编排调度、任务可观测性等核心特性,旨在为用户提供一站式训推任务管理平台,保障训推任务稳定高效运行,提升算力使用效率。

本文介绍在星流训推平台中KPFS容量Ⅰ型、容量Ⅱ型或标准型的使用方案。

前提条件

  1. 已创建KPFS容量型或标准型文件系统。请参考创建文件系统。

  2. 已完成资源池创建。请参考创建资源池。特别的,若您使用KPFS性能型,则需在创建时勾选启用高性能文件系统,以完成KPFS性能型存储插件的安装。

  3. 已完成资源队列创建。请参考队列。

  4. 若您使用KPFS性能型:

    1. 若通过POSIX访问:需参考性能Ⅰ型、性能Ⅱ型-KPFS-P2或性能Ⅰ型、性能Ⅱ型-KPFS-P1部分1、2、3、4步骤,在KPFS控制台完成计算节点的POSIX客户端访问授权,然后登录计算节点下载POSIX客户端并完成POSIX客户端挂载。

    2. 若通过NFS访问:需参考性能Ⅰ型、性能Ⅱ型-KPFS-P2或性能Ⅰ型、性能Ⅱ型-KPFS-P1部分1、2步骤,在KPFS控制台创建NFS共享并授权需访问的计算节点VPC IP,然后登录计算节点下载NFS客户端。

存储选型

星流平台提供了高性能文件存储KPFS及对象存储KS3两种存储产品,您可以根据不同的业务场景,选择合适的产品类型。

产品线

概述

星流集成方案

性能

业务场景

对象存储KS3

容量无限制、多备份、分布式的低成本存储空间解决方案。

  • 提供EB级存储能力,存储空间按需扩展无上限。

  • 按实际使用量付费,节省预置成本,无需考虑容量规划。

  • 总体存储容量没有限制,单个存储桶的容量无限制,单个文件(对象)最大支持48.8TB。

  • 提供控制台、KS3 Finder、KS3 Util、SDK等多种使用方式,基于HTTP访问协议

  • 访问单元为"对象"。

基于ks3fs工具,将对象存储KS3挂载成本地文件系统,方便用户像操作本地文件一样管理KS3数据,以支持按照文件系统语义透明访问对象存储数据,支持基础的POSIX兼容性。

每PB可提供(标准存储)

  • 读:5Gbps

  • 写:5Gbps

  • 不适合高并发混合读写的场景。

  • 无需完整的POSIX语义,仅要求上传、下载、拷贝、修改、重命名、删除、设置用户权限等。

  • 对多客户端数据强一致性无要求。

  • 当您已有源数据存储至KS3,需像访问本地数据集一样读取KS3数据

高性能文件存储KPFS

容量Ⅰ型、容量Ⅱ型

面向KEC实例、裸金属服务器、容器服务提供的一种完全托管、开箱即用的高性能分布式文件存储服务,解决高吞吐、低延迟及大容量的业务场景需求,适用于AI训练、自动驾驶、视频渲染等高性能计算场景。

  • 适用数据量在TB-14PB级别,文件数量百亿级。

  • 提供标准POSIX接口访问,支持NFS访问协议。

  • 按购买容量计费,有起售容量限制。

  • 访问单元为“文件”。

基于KPFS csi driver驱动,通过标准PV/PVC方式供容器内挂载使用。

  • 每TB分别可提供20MB/s或40MB/s。

  • 支持通过分布式缓存、智能预取能力提升性能。

中小规模AI训练与推理、容器存储、数据备份、归档等场景。

标准型

  • 每TB可提供100MB/s。

  • 支持通过分布式缓存、智能预取能力提升性能。

高性能计算业务,例如AI训练、自动驾驶、数据清洗、人形机器人、影视渲染等。

性能Ⅰ型、性能Ⅱ型

基于KPFS csi driver驱动,通过标准PV/PVC方式供容器内挂载使用。

每TB可提供200MB/s或400MB/s。

适合智算业务,例如自动驾驶、AIGC等。

操作步骤

创建KPFS存储配置

  1. 登录星流平台,在顶部导航栏,选择训推与仿真>AI资产管理 >存储配置,默认进入KPFS存储配置列表页面。

  2. 点击新建,进入存储配置创建页。

  3. 填写以下字段信息后,点击确定即可创建KPFS存储配置。

    参数

    是否必须

    说明

    存储配置名称

    是

    存储配置的名称,支持字母、数字、下划线_、中划线-、小数点,需要以字母开头,1-64个字符。

    存储配置描述

    否

    对存储配置的描述信息,最大支持200个字符。

    存储类型

    是

    选择KPFS。

    选择文件系统

    是

    选择已提前创建好的可用的KPFS实例,本示例选择KPFS性能Ⅰ型或性能Ⅱ型。

    文件系统路径

    是

    需挂载的文件系统目录。支持选择已有目录或新建目录。

    若选择新建目录,则还需设置目录容量配额。一个目录仅可关联一个存储配置。

    挂载路径

    是

    默认的容器内挂载路径。

    权限配置

    否

    存储配置有四种权限角色可选:

    主账号与创建者,可以查看、编辑或删除该存储配置。

    • 管理员(只读):对存储配置拥有查看和编辑的权限,对文件系统拥有只读权限。

    • 管理员(读写):对存储配置拥有查看和编辑的权限,对文件系统拥有读写权限。

    • 普通成员(只读):对存储配置拥有查看的权限,对文件系统拥有只读权限。

    • 普通成员(读写):对存储配置拥有查看的权限,对文件系统拥有读写权限。

管理KPFS存储配置

查看详情
  1. 进入KPFS存储配置列表页面。

  2. 点击指定KPFS名称/ID,进入其详情页面。可查看当前KPFS的基本信息、存储配置、成员及权限信息。

权限设置
  1. 进入KPFS存储配置列表页面。

  2. 点击指定KPFS,操作列中的权限设置。

  3. 在弹出的权限设置窗口中,点击添加子用户,即可新增成员,并为其设置权限角色,点击相应成员所在行的删除图标,可对其进行删除。

    各角色权限可查看创建KPFS存储配置中的参数说明。

编辑存储配置
  1. 进入KPFS存储配置列表页面。

  2. 点击指定KPFS,操作列中的编辑。

  3. 在编辑存储配置页面,对相应信息进行修改即可。目前仅支持修改名称、描述信息、挂载路径以及权限配置。

删除存储配置
  1. 进入KPFS存储配置列表页面。

  2. 点击指定KPFS,操作列中的删除。

  3. 在弹出的提示窗口中,确定信息无误,点击删除即可。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈