最近更新时间:2026-10-14 16:16:21
文件存储KPFS(Kingsoft cloud Performance File Storage)支持在星流训推平台中使用,可为训推任务提供高性能存储,实现训练数据高速提取、模型参数高吞吐传输,支撑大规模分布式训练任务并行效率提升。
金山云星流训推平台为机器学习场景开发者和运维人员提供云原生AI算力和全流程管理能力支持,由基础资源管理、算力管理工具、训推任务管理、资产与权限管理等模块构成,包含任务编排调度、任务可观测性等核心特性,旨在为用户提供一站式训推任务管理平台,保障训推任务稳定高效运行,提升算力使用效率。
本文介绍在星流训推平台中KPFS容量Ⅰ型、容量Ⅱ型或标准型的使用方案。
已创建KPFS容量型或标准型文件系统。请参考创建文件系统。
已完成资源池创建。请参考创建资源池。特别的,若您使用KPFS性能型,则需在创建时勾选启用高性能文件系统,以完成KPFS性能型存储插件的安装。
已完成资源队列创建。请参考队列。
若您使用KPFS性能型:
若通过POSIX访问:需参考性能Ⅰ型、性能Ⅱ型-KPFS-P2或性能Ⅰ型、性能Ⅱ型-KPFS-P1部分1、2、3、4步骤,在KPFS控制台完成计算节点的POSIX客户端访问授权,然后登录计算节点下载POSIX客户端并完成POSIX客户端挂载。
若通过NFS访问:需参考性能Ⅰ型、性能Ⅱ型-KPFS-P2或性能Ⅰ型、性能Ⅱ型-KPFS-P1部分1、2步骤,在KPFS控制台创建NFS共享并授权需访问的计算节点VPC IP,然后登录计算节点下载NFS客户端。
星流平台提供了高性能文件存储KPFS及对象存储KS3两种存储产品,您可以根据不同的业务场景,选择合适的产品类型。
产品线 | 概述 | 星流集成方案 | 性能 | 业务场景 | |
对象存储KS3 | 容量无限制、多备份、分布式的低成本存储空间解决方案。
| 基于ks3fs工具,将对象存储KS3挂载成本地文件系统,方便用户像操作本地文件一样管理KS3数据,以支持按照文件系统语义透明访问对象存储数据,支持基础的POSIX兼容性。 | 每PB可提供(标准存储)
|
| |
高性能文件存储KPFS | 容量Ⅰ型、容量Ⅱ型 | 面向KEC实例、裸金属服务器、容器服务提供的一种完全托管、开箱即用的高性能分布式文件存储服务,解决高吞吐、低延迟及大容量的业务场景需求,适用于AI训练、自动驾驶、视频渲染等高性能计算场景。
| 基于KPFS csi driver驱动,通过标准PV/PVC方式供容器内挂载使用。 |
| 中小规模AI训练与推理、容器存储、数据备份、归档等场景。 |
标准型 |
| 高性能计算业务,例如AI训练、自动驾驶、数据清洗、人形机器人、影视渲染等。 | |||
性能Ⅰ型、性能Ⅱ型 | 基于KPFS csi driver驱动,通过标准PV/PVC方式供容器内挂载使用。 | 每TB可提供200MB/s或400MB/s。 | 适合智算业务,例如自动驾驶、AIGC等。 | ||
登录星流平台,在顶部导航栏,选择训推与仿真>AI资产管理 >存储配置,默认进入KPFS存储配置列表页面。
点击新建,进入存储配置创建页。
填写以下字段信息后,点击确定即可创建KPFS存储配置。
参数 | 是否必须 | 说明 |
|---|---|---|
存储配置名称 | 是 | 存储配置的名称,支持字母、数字、下划线_、中划线-、小数点,需要以字母开头,1-64个字符。 |
存储配置描述 | 否 | 对存储配置的描述信息,最大支持200个字符。 |
存储类型 | 是 | 选择KPFS。 |
选择文件系统 | 是 | 选择已提前创建好的可用的KPFS实例,本示例选择KPFS性能Ⅰ型或性能Ⅱ型。 |
文件系统路径 | 是 | 需挂载的文件系统目录。支持选择已有目录或新建目录。 若选择新建目录,则还需设置目录容量配额。一个目录仅可关联一个存储配置。 |
挂载路径 | 是 | 默认的容器内挂载路径。 |
权限配置 | 否 | 存储配置有四种权限角色可选: 主账号与创建者,可以查看、编辑或删除该存储配置。
|
进入KPFS存储配置列表页面。
点击指定KPFS名称/ID,进入其详情页面。可查看当前KPFS的基本信息、存储配置、成员及权限信息。
进入KPFS存储配置列表页面。
点击指定KPFS,操作列中的权限设置。
在弹出的权限设置窗口中,点击添加子用户,即可新增成员,并为其设置权限角色,点击相应成员所在行的删除图标,可对其进行删除。
各角色权限可查看创建KPFS存储配置中的参数说明。
进入KPFS存储配置列表页面。
点击指定KPFS,操作列中的编辑。
在编辑存储配置页面,对相应信息进行修改即可。目前仅支持修改名称、描述信息、挂载路径以及权限配置。
进入KPFS存储配置列表页面。
点击指定KPFS,操作列中的删除。
在弹出的提示窗口中,确定信息无误,点击删除即可。
纯净模式
