全部文档
当前文档

热搜词推荐

云服务器 虚拟私有网络 边缘节点计算 对等连接

共搜索到 0 条结果

暂无内容

如果没有找到您期望的内容，请尝试其他搜索词

文档中心

文件存储KPFS

查看更多结果
未找到含当前关键字的文档标题
页面目录
全部展开全部收起
未找到含该关键词的产品
文档中心 文件存储KPFS 快速上手

快速上手

最近更新时间：2025-12-31 14:28:08

本文介绍从创建到挂载使用KPFS文件系统的全流程，帮助您快速上手KPFS文件系统。

创建文件系统

  1. 登录文件存储KPFS控制台。

  2. 在文件系统列表页，单击创建按钮。

  3. 在创建页面，配置文件系统相关信息。

参数

说明

计费方式

文件系统计费方式，包括：包年包月、按量付费（按日月结）、试用。

更多信息，请参见计费说明。

地域

选择文件系统所在地域。

文件系统和计算实例需在相同地域下，不同地域之间不互通。

可用区

选择文件系统所在的可用区。

注1：推荐使用同可用区的计算实例挂载，以尽量降低时延。

注2：性能Ⅰ型、性能Ⅱ型的文件系统，POSIX协议挂载仅支持同机房计算实例访问；NFS协议挂载支持跨可用区访问。

注3：容量Ⅰ型、容量Ⅱ型、标准型，支持跨可用区访问。

类型

文件系统存储类型，包括：

  • 容量Ⅰ型：适用于中小规模AI训练推理、容器存储、数据备份、归档等高性价比、大容量场景。

  • 容量Ⅱ型：适用于中小规模AI训练推理、容器存储、数据备份、归档等高性价比、大容量场景。

  • 标准型：适用于高性能计算业务，例如AI训练、自动驾驶、数据清洗、人形机器人、影视渲染等。

  • 性能Ⅰ型：适用于高性能计算业务，例如AI训练、自动驾驶、数据清洗、人形机器人、影视渲染等。

  • 性能Ⅱ型：适合智算业务，例如自动驾驶、AIGC等。

更多信息，请参见产品规格。

文件系统名称

输入文件系统的自定义名称。

文件系统名称全局唯一，不能和本用户及其他用户已有文件系统重名，且创建成功后不可修改。

所属项目

选择文件系统所属项目。

展示您权限范围内的项目列表。

存储池

选择存储池名称，为集群的唯一标识。仅性能Ⅰ型、性能Ⅱ型支持。

条带块大小

选择文件系统的条带块大小，建议根据您业务的文件大小进行选择。仅性能Ⅰ型、性能Ⅱ型支持。

  • 小文件友好型

  • 均衡型

  • 大文件友好型

容量

设置文件系统的存储容量。

  • 容量Ⅰ型、容量Ⅱ型：范围 1TiB ~ 100PiB

  • 标准型、性能Ⅰ型、性能Ⅱ型：范围 10TiB ~ 100PiB

  1. 单击立即购买，完成文件系统创建。

  2. 进入文件系统详情，查看文件系统挂载方法。

容量Ⅰ型、容量Ⅱ型、标准型

挂载文件系统

  1. 在KPFS服务所在的相同地域中，创建云服务器KEC实例或裸金属服务器。

  2. 获取访问密钥

    文件存储服务KPFS需使用您金山云账户的访问密钥作为访问凭证，支持主用户或子用户，获取方式如下：

    若您禁用或更换密钥对，使用该访问密钥进行挂载的客户端将无法读写。

  3. 安装客户端

    参考文件系统详情-挂载方法栏位

sudo curl -L http://198.19.28.45:8080/onpremise/juicefs -o /usr/local/bin/juicefs && sudo chmod +x /usr/local/bin/juicefs

完成安装后，在命令行运行 juicefs --help，如果正常打印出帮助信息，表示客户端安装完成。如果报错 command not found，请检查系统环境变量设置，确保将 /usr/local/bin 加入 PATH。

  1. 挂载文件系统

    参考文件系统详情-挂载方法栏位

sudo /usr/local/bin/juicefs mount $VOL_NAME $MOUNTPOINT

$VOL_NAME输入文件系统名称，$MOUNTPOINT输入实际挂载的路径。

客户端挂载过程中，需输入文件系统的Token和访问密钥。

sudo /usr/local/bin/juicefs mount mytest /localfolder
Token for mytest：********
Secret ID for ks3 bucket 2000176024-mytest-snx187g2：********
Secret Key  for ks3 bucket 2000176024-mytest-snx187g2：********

验证文件系统

通过juicefs bench命令对文件系统进行基础的性能和功能验证，确保文件系统能够正常访问且性能符合预期。

juicefs bench /localfolder

运行 juicefs bench 命令以后会根据指定的并发度（默认为 1）往文件系统中写入及读取 N 个大文件（默认为 1）及 N 个小文件（默认为 100），并统计读写的吞吐和单次操作的延迟，以及访问元数据引擎的延迟。

客户端平滑重新挂载

mount 命令支持平滑重新挂载，只需编辑挂载选项并运行 juicefs mount 即可。

# 确认挂载点已经存在
$ df -h /localfolder
Filesystem     Size  Used Avail Use% Mounted on
JuiceFS:mytest  1.0T   11G 1014G   1% /test

# 修改挂载选项，重新挂载
# 如果忘记了当前的挂载命令，使用ps -ef | grep /usr/local/bin/juicefs命令获取原挂载命令
$ sudo /usr/local/bin/juicefs mount mytest /localfolder --buffer-size=300
OK, mytest is ready at /localfolder.

# 检查运行时配置文件，确认参数生效
grep -i buffer /jfs/.config

开机自动挂载

文件系统挂载成功可以正常使用后，按需设置开机自动挂载。KPFS客户端内置了自动更新fstab的功能，将挂载信息写入 /etc/fstab，便能实现开机自动挂载。

# 需要 root 权限才能修改 /etc/fstab
$ sudo /usr/local/bin/juicefs mount --update-fstab $VOL_NAME $MOUNTPONT
$ grep $VOL_NAME /etc/fstab
<VOL_NAME> <MOUNTPONT> juicefs _netdev 0 0

如果你有意自行控制，请注意：

  1. 需要创建一个从 /sbin/mount.juicefs 到 juicefs 可执行文件的软链接，操作系统解析 fstab 时会调用 /sbin/mount.juicefs 命令。

  2. 挂载命令所包含的各种参数，也需要在 fstab options 列加以声明，注意去掉 - 前缀，并将参数取值以 = 连接，举例说明：

$ sudo /usr/local/bin/juicefs mount --update-fstab $VOL_NAME $MOUNTPONT -b --max-uploads=1 --prefetch 2 --writeback mytest /localfolder -o max_read=3
# -o 是 FUSE options，在 fstab 中需特殊对待
$ grep $VOL_NAME /etc/fstab
<VOL_NAME>  <MOUNTPONT> juicefs _netdev,background,max-uploads=1,max_read=3,prefetch=2,writeback 0 0

卸载文件系统

使用 umount 命令卸载文件系统。

umount /localfolder

如果命令行返回 umount: /localfolder: target is busy.，说明文件系统正在使用，可以使用 lsof $MOUNTPOINT 找到并结束相关应用的进程后再执行卸载。

对于 Linux 发行版，可以使用 -l 选项执行延迟卸载（立即卸载文件系统，已经打开的文件句柄释放之后，客户端才真正退出）。

umount -l /localfolder

性能Ⅰ型、性能Ⅱ型

挂载方式对比

KPFS性能型提供了POSIX客户端、NFS客户端两种挂载方式，您可以根据您的业务场景选择合适的访问方式。

分类

POSIX客户端

NFS客户端

网络架构

计算节点与存储节点通过RDMA高速网络互联，支持机房级访问。

计算节点与存储节点通过VPC网络（TCP/IP）打通，支持Region级访问。

协议类型

POSIX

NFS v3

客户端类型

KPFS-POSIX客户端，运行在内核态。

标准NFS客户端。

计算节点要求

对OS、内核、网卡驱动版本有要求。

主流Linux操作系统，兼容性更好。

使用方式

  1. 安装专属客户端。

  2. 物理机挂载目录层级为文件系统根，容器内挂载层级为子目录。

  3. 支持节点IP级访问授权，授权后挂载权限为读写。

  1. 安装Linux NFS客户端。

  2. 挂载目录可指定文件系统根或子目录。

  3. 挂载权限可指定只读、读写。

推荐场景

对性能有较高要求，计算节点需带SRoCE网卡。

使用通用算力（如云服务器/CPU裸金属），对性能无较高要求。

POSIX客户端挂载

注意：若您需通过容器CSI挂载或星流平台挂载，则必须先在宿主机完成客户端挂载。

  1. 前提条件

    • 已创建裸金属服务器

      • 为避免出现兼容性问题，使用前务必确认计算节点满足KPFS客户端要求的OS版本、内核版本、网卡驱动版本。

      • POSIX客户端挂载仅支持同机房计算节点访问。

    • 完成计算节点的存储侧POSIX客户端访问授权。

    • AMD机型，需关闭iommu。

    • Linux下的/etc/default/grub需有下列参数

      • GRUB_CMDLINE_LINUX：需包含"split_lock_detect=off"

  2. 下载客户端

    参考文件系统详情-挂载方法栏位

    • 按照计算节点使用的OS版本、内核版本、网卡驱动选择客户端版本，不同内核需使用不同的安装包。如更换内核，需先卸载客户端后再更换内核，然后重新安装部署客户端。

    • 控制台展示为客户端内网下载链接。如需使用公网下载，可删除下载链接中的-internal，即为公网下载链接。

    下载指令参考如下：

    wget  https://nas-s-bj.ks3-cn-beijing.ksyuncs.com/posix-client/v412-91030/ofs-client-ubuntu22.04.3-5.15.0-88-generic-X86-MLX5.8_3.0-330000-000-UStor_ofs4.1.2_930_release_412c33989cea_20241030_093039-53-1.tar.xz

  1. 使用tar指令对客户端解压缩

    参考文件系统详情-挂载方法栏位

tar xvf ofs-client-ubuntu22.04.3-MLX5.8_3.0-202628-development_ofs4.0.2_lc_v3_release_682c67e0e707_20240305_220218-53-1.tar.xz

  1. 安装客户端并挂载文件系统

    4.1 自动挂载

    cd client
./install.py --ips=xxxxx --force=1

    参数

    是否必填

    说明

    --ips

    是

    存储节点的数据网IP，前往 文件系统详情-挂载方法，获取挂载IP。

    --historyloglocation

    否

    可自行指定历史日志存放路径（安装时把这个路径作为源路径，创建一个到/var/log/backup的软链接，且卸载软件不会删除该软链接）；如不填，历史日志默认存放在/var/log/backup。

    --force=1

    否

    检查存储版本和客户端版本是否一致，force=1 表示强制安装。

    安装完成后，执行df -h，查看文件系统是否成功挂载。

    4.2 手动挂载（可选）

    cd client
./install.py --ips=xxxxx --force=1
mount -t storage -o sysname=xxxx -o fsname=xxxx -o async,user_xattr $sysname_fsname $mntname

    参数

    说明

    --ips

    存储节点的数据网IP，前往 文件系统详情-挂载方法，获取挂载IP。

    -t storage

    文件存储类型。

    sysname

    前往 控制台>文件系统详情 >基本信息，获取 存储池名称。

    fsname

    文件系统名称。

    sysname_fsname

    远端挂载点，由存储池名称及文件系统名称组成，两个名称中间使用下划线连接。

    mntname

    本地挂载点，建议使用/mnt下的同名目录（与文件系统同名)。

    挂载参数

    sync/async

    同步/异步写，默认采用异步写以有效利用缓存来提升数据写入性能，但异步写入在节点断电时存在丢失缓存中数据的风险，若不能接受此风险，请选择同步写。

    挂载参数

    atime/noatime

    即仅访问、不修改文件内容时也更改文件的时间戳，开启此选项会影响集群性能，默认不跟踪访问文件的时间戳。

    挂载参数

    acl/no_acl

    POSIX ACL，针对Unix系统的访问控制列表；默认关闭，文件/目录可设置owner、group、other的基本权限；若要为文件/目录设置其他指定用户/用户组的权限，可开启此选项后通过setfacl、getfacl进行设置。

    挂载参数

    user_xattr/no_user_xattr

    开启此选项以支持setfattr、getfattr操作，用户可以为文件/目录自定义添加自定义的key/value键值对属性，建议开启。

NFS客户端挂载

注意：若您需通过容器CSI挂载或星流平台挂载，则需要完成1、2步骤（若您宿主机有NFS客户端，则无需执行步骤2）。

  1. 前提条件

  2. 下载客户端

    参考访问授权-NFS协议-NFS协议详情栏位，根据计算节点的操作系统类型，下载对应客户端

    Centos操作系统下载指令如下：

    sudo yum install nfs-utils

    Ubuntu操作系统下载链接如下：

     apt install nfs-common

  3. 创建挂载点

    参考访问授权-NFS协议-NFS协议详情栏位，在本机创建文件系统挂载点

    mkdir  /mnt/kpfs

  4. 挂载文件系统

    参考访问授权-NFS协议-NFS协议详情栏位，挂载文件系统

    mount -t nfs -o vers=3,tcp,rsize=1048576,wsize=1048576,noatime,nodiratime nfs-server-prod.example.com:/mnt  /mnt/kpfs1

    参数

    说明

    ver

    指定挂载时使用的NFS协议版本，支持NFS v3。

    rsize

    NFS客户端从服务端读取数据时的缓冲区大小（单位：字节），决定了单次读取的最大数据量。

    wsize

    指定 NFS 客户端向服务端写入数据时的缓冲区大小（单位：字节），决定了单次写入的最大数据量。

    noatime

    禁止更新文件的访问时间戳（atime，即文件最后被读取的时间）。

    使用建议：

    • 开启 noatime 可减少元数据操作，提升 NFS 挂载目录的性能（尤其是小文件频繁读取的场景）；

    • 适用于对文件访问时间无要求的场景（如数据备份、缓存目录）。

    nodiratime

    禁止更新目录的访问时间戳（atime）。noatime 作用于文件；nodiratime 作用于目录。

    nfs-server-prod.example.com

    NFS服务端的域名地址。

    /mnt

    NFS共享目录路径。

    /mnt/kpfs

    步骤3创建的本机挂载点。

卸载文件系统

注意：在卸载前需确认业务已停止运行，如若卸载失败，可以使用“lsof|grep 本机挂载点”检查文件系统占用是否全部释放。

  1. 若您使用POSIX客户端挂载，则在宿主机执行卸载脚本即可：

    /clistorage/uninstall.py

  2. 若您使用NFS客户端挂载，在宿主机执行如下操作，

    umount  本机挂载点

常见问题

1. 安装POSIX客户端时，提示没有python

请依照下方步骤加载存储所需的python环境变量：

#进入到安装包解压后的目录中，安装
cd  ./client/ofs_external_lib/
./install.sh
source /opt/ofs/external_lib/env.sh
2. 安装POSIX客户端时，提示没有授权
Update node configuration fail,please make sure that:
1.This node has been authorized.
2.Storage service is OK.

请至控制台，创建POSIX客户端访问授权。

3. 重复安装POSIX客户端失败

（1）安装客户端报错 “RenderError：Field ‘alloc_mem' is missing”

请依照下方步骤，先删除配置文件再安装即可：

rm -f /etc/storage_conf.xml

（2）安装客户端报错 “client has been installed”

请依照以下步骤操作：

  1. 查询是否已经安装过客户端

    1. 方法1：查询版本：cat /proc/storage/storage_version

    2. 方法2：查询模块：lsmod | grep kingstorage

  2. 如果存在，说明已经安装过客户端，需要先卸载旧客户端。卸载命令如下：

/clistorage/uninstall.py --force=1

  1. 运行完上述命令后 ls /etc/storage_conf.xml，如果该文件存在说明没卸载干净，请手动删除，命令如下：

rm -f /etc/storage_conf.xml

  1. 重新安装新的客户端，命令如下：

./install.py  --ips=<IP>  --force=1

（3）安装客户端报错 “is_force:True”

请依照下方步骤，先删除配置文件再使用“--force=true”安装：

rm -f /etc/storage_conf.xml   #删除配置文件

cd client
./install.py --ips=xxxxx --force=true   #重新安装
4. NFS访问吞吐最大只能到120MB/s

可能是触发了云主机或裸金属服务器的内网带宽限速，请联系金山云处理。

文档导读
上一篇：到期说明
下一篇：操作指南
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈