全部文档
当前文档
最近更新时间：2026-10-14 16:16:21
文件存储KPFS（Kingsoft cloud Performance File Storage）支持在星流训推平台中使用，可为训推任务提供高性能存储，实现训练数据高速提取、模型参数高吞吐传输，支撑大规模分布式训练任务并行效率提升。
金山云星流训推平台为机器学习场景开发者和运维人员提供云原生AI算力和全流程管理能力支持，由基础资源管理、算力管理工具、训推任务管理、资产与权限管理等模块构成，包含任务编排调度、任务可观测性等核心特性，旨在为用户提供一站式训推任务管理平台，保障训推任务稳定高效运行，提升算力使用效率。
本文介绍在星流训推平台中KPFS容量Ⅰ型、容量Ⅱ型或标准型的使用方案。
已创建KPFS容量型或标准型文件系统。请参考创建文件系统。
已完成资源池创建。请参考创建资源池。
已完成资源队列创建。请参考队列。
已完成访问密钥获取。请参考挂载文件系统-获取访问密钥。
星流平台提供了高性能文件存储KPFS及对象存储KS3两种存储产品，您可以根据不同的业务场景，选择合适的产品类型。
产品线 | 概述 | 星流集成方案 | 性能 | 业务场景 | |
对象存储KS3 | 容量无限制、多备份、分布式的低成本存储空间解决方案。
| 基于ks3fs工具，将对象存储KS3挂载成本地文件系统，方便用户像操作本地文件一样管理KS3数据，以支持按照文件系统语义透明访问对象存储数据，支持基础的POSIX兼容性。 | 每PB可提供（标准存储）
|
| |
高性能文件存储KPFS | 容量Ⅰ型、容量Ⅱ型 | 面向KEC实例、裸金属服务器、容器服务提供的一种完全托管、开箱即用的高性能分布式文件存储服务，解决高吞吐、低延迟及大容量的业务场景需求，适用于AI训练、自动驾驶、视频渲染等高性能计算场景。
| 基于KPFS csi driver驱动，通过标准PV/PVC方式供容器内挂载使用。 | 中小规模AI训练与推理、容器存储、数据备份、归档等场景。 | |
标准型 | 高性能计算业务，例如AI训练、自动驾驶、数据清洗、人形机器人、影视渲染等。 | ||||
性能Ⅰ型、性能Ⅱ型 | 基于KPFS csi driver驱动，通过标准PV/PVC方式供容器内挂载使用。 | 每TB可提供200MB/s或400MB/s。 | 适合智算业务，例如自动驾驶、AIGC等。 | ||
登录星流平台，在顶部导航栏，选择训推与仿真>AI资产管理 >存储配置，默认进入KPFS存储配置列表页面。
点击新建，进入存储配置创建页。
填写以下字段信息后，点击确定即可创建KPFS存储配置。
参数 | 是否必须 | 说明 |
|---|---|---|
存储配置名称 | 是 | 存储配置的名称，支持字母、数字、下划线_、中划线-、小数点，需要以字母开头，1-64个字符。 |
存储配置描述 | 否 | 对存储配置的描述信息，最大支持200个字符。 |
存储类型 | 是 | 选择KPFS。 |
选择文件系统 | 是 | 选择已提前创建好的可用的KPFS实例，本示例选择KPFS容量Ⅰ型、容量Ⅱ型或标准型。 |
AK/SK | 是 | 当前存储配置的访问密钥，需确保输入的 AK/SK 拥有对应文件系统的读写权限。获取方式参考：挂载文件系统-获取访问密钥。 |
文件系统路径 | 是 | 需挂载的文件系统目录。支持选择已有目录或新建目录。 若选择新建目录，则还需设置目录容量配额。一个目录仅可关联一个存储配置。 |
挂载路径 | 是 | 默认的容器内挂载路径。 |
预取 | 否 | 开启预取后能提升连续读性能，但可能降低随机读性能。 |
权限配置 | 否 | 存储配置有四种权限角色可选：  主账号与创建者，可以查看、编辑或删除该存储配置。
|
进入KPFS存储配置列表页面。
点击指定KPFS名称/ID，进入其详情页面。可查看当前KPFS的基本信息、存储配置、成员及权限信息。
进入KPFS存储配置列表页面。
点击指定KPFS，操作列中的权限设置。
在弹出的权限设置窗口中，点击添加子用户，即可新增成员，并为其设置权限角色，点击相应成员所在行的删除图标，可对其进行删除。
各角色权限可查看创建KPFS存储配置中的参数说明。
进入KPFS存储配置列表页面。
点击指定KPFS，操作列中的编辑。
在编辑存储配置页面，对相应信息进行修改即可。目前仅支持修改名称、描述信息、挂载路径以及权限配置。
进入KPFS存储配置列表页面。
点击指定KPFS，操作列中的删除。
在弹出的提示窗口中，确定信息无误，点击删除即可。
在开始阅读本章节前，您需要先了解分布式缓存的使用流程，使用分布式缓存可以将您读取的数据缓存至资源组内各计算节点本地Nvme SSD盘，大幅提升反复访问同一批文件的性能。在训推平台上使用分布式缓存时，需先以资源池维度创建缓存组用于热数据缓存，然后以存储配置维度进行缓存预热，预热完成后应用在读取该存储配置对应目录下的数据时可大幅提升性能。
前往资源组>资源组详情>数据缓存，点击新建，配置以下各项参数，点击确定。
参数 | 子参数 | 是否必填 | 说明 |
|---|---|---|---|
缓存组名称 | 是 | 缓存组名称，支持1-64个字符。 | |
选择文件系统 | 是 | 选择已提前创建好的可用的KPFS实例，仅支持KPFS容量Ⅰ型、容量Ⅱ型或标准型。 | |
AK/SK | 是 | 缓存组的访问密钥，需确保输入的 AK/SK 拥有对应文件系统的读写权限。获取方式参考挂载文件系统-获取访问密钥。 | |
配置组 （多个缓存节点构成一个缓存组） | 缓存节点 | 是 | 资源组内的缓存节点，支持单选或多选。 |
本地缓存目录 | 是 | 缓存目录路径，数据最终的缓存目录为用户填写目录/文件系统名称/raw。建议填写本地Nvme SSD盘路径。
| |
缓存容量 | 否 | 缓存盘用于缓存的总容量。建议根据待缓存数据总大小及缓存目录空闲大小合理配置。
| |
本地盘预留比例 | 否 | 缓存盘的预留空间比例。
| |
节点权重 | 否 | 缓存节点的缓存数据权重。如果缓存节点间的缓存容量大小不一致，通过该值来调节节点各自的权重，建议取值范围为 10 到 1000。
| |
创建完成后，可以在资源组>资源组详情>数据缓存，查看、编辑、删除创建的缓存组。
前往训推与仿真>AI资产管理>存储配置，选择缓存预热，点击新建。
在新建预热任务窗口中，配置以下各项参数，点击确定。
参数 | 是否必须 | 说明 |
|---|---|---|
预热任务名称 | 是 | 当前缓存预热任务的名称，自定义即可。 |
预热类型 | 是 | 支持选择定时预热或单次预热。
|
资源组 | 是 | 当前预热任务所需的资源组，系统会自动将预热数据保存在该资源组的盘上。若无可用资源组，可点击新建资源组进行创建。 |
预热周期 | 条件必须 | 定时预热任务的执行周期。系统会根据配置，周期性执行预热任务。若上一次预热尚未完成，则不会启动新的预热。 支持设为每日整点或自定义。
|
创建成功的缓存预热任务，显示在相应列表内。
在预热任务列表内，点击指定任务操作列中的记录，可查看当前预热任务执行的基本情况。
在创建KPFS存储配置时，可以针对此配置开启预取。开启预取可以很好的提升连续读的性能，但如果您的应用读取文件方式为偏移极大的、稀疏的随机读，预取会带来明显的读放大，这种场景下需关闭预取。
纯净模式
