全部文档
当前文档

热搜词推荐

云服务器 虚拟私有网络 边缘节点计算 对等连接

共搜索到 0 条结果

暂无内容

如果没有找到您期望的内容，请尝试其他搜索词

文档中心

对象存储(KS3)

查看更多结果
未找到含当前关键字的文档标题
页面目录
全部展开全部收起
未找到含该关键词的产品
文档中心 对象存储(KS3) 常用工具 工具汇总 KS3Util命令行工具 对象操作 下载文件（cp）

下载文件（cp）

最近更新时间：2025-11-07 15:07:28

cp命令可以用于将存储于KS3的文件下载到本地。

以下示例均以Linux为例。

命令格式

./ks3util cp cloud_url file_url
[--object-file <value>]
[-r, --recursive] 
[-f, --force] 
[-u, --update]
[--bigfile-threshold <value>]
[--part-size <value>]
[--include <value>]
[--exclude <value>]
[--time-range <value>]
[-j, --jobs <value>]
[--parallel <value>]
[--checkpoint-dir <value>]
[--disable-crc64]
[--dry-run]
[--disable-temp-file]
[--list-parallel <value>]
[--list-depth <value>]

参数说明

参数

说明

file_url

本地文件或目录路径。

cloud_url

KS3文件路径，格式为ks3://bucketname/objectname。

--object-file

需下载的文件列表，内容为文件完整的key，不同key之间以换行分隔。

-r, --recursive

递归进行操作。当指定该选项时，会对存储空间下所有符合条件的对象进行操作，否则只对路径指定的定的单个对象进行操作。

-f, --force

强制操作，不进行询问提示。当目标文件已存在，且没有使用-u选项时，会覆盖目标文件（即所有文件重传）。

-u, --update

更新操作，只有当目标文件不存在，或源文件的最后修改时间晚于目标文件时，KS3Util才会执行下载操作，否则会跳过该文件。

--bigfile-threshold

开启大文件分块操作的阈值，大于等于该值的文件会进行分块，并且支持断点续传。格式为：值+单位。单位可选，支持的单位：B、KB、MB、GB、TB，默认单位为B（Byte）。默认值：100MB（104857600）。

--part-size

分块大小，默认情况下根据文件大小自行计算合适的值。格式为：值+单位。单位可选，支持的单位：B、KB、MB、GB、TB，默认单位为B（Byte）。取值范围：5MB-5GB（5242880-5368709120）。

如果有特殊需求或者需要性能调优，可以设置该值。

--only-current-dir

表示仅操作当前目录下的文件，忽略子目录。

--include

包含对象匹配模式，满足匹配规则的文件将会被选中，如：*.jpg。

该选项可以出现多次，多个--include规则取并集。

--exclude

不包含对象匹配模式，满足匹配规则的文件将会被排除，如：*.txt。

该选项可以出现多次，多个--exclude规则取并集。

--time-range

时间段匹配模式，仅匹配最后修改时间在该时间段内的文件。时间段格式为：time1-time2，其中time1、time2需要填写UTC时间，格式为：yyyyMMddHHmmss。

详细请参考通用选项&过滤规则文档。

-j, --jobs

多文件操作时的并发数，默认值：5，取值范围：1-10000。

1. 该参数决定有多少个文件并行下载。

2. 批量操作文件时适合调整该参数。

3. Util2.9.0版本默认值由3改为5。

--parallel

单文件内部操作的并发任务数，取值范围：1-10000。

1. 默认KS3 Util会根据操作类型和文件大小自动决定，自动取值范围是1-12。

2. 该参数决定单个文件有多少个块并行下载。

3. 操作单个大文件时适合调整该参数。

4. 总并发数= jobs * parallel。

--checkpoint-dir

checkpoint目录的路径(默认值为:.ks3util_checkpoint)，断点续传时，操作失败KS3Util会自动创建该目录，并在该目录下记录checkpoint信息，操作成功会删除该目录。如果指定了该选项，请确保所指定的目录可以被删除。

--disable-crc64

关闭CRC64数据校验。默认情况下，KS3Util进行数据传输时都会打开CRC64校验。

--dry-run

测试模式运行，不执行实际下载操作，用于验证流程的正确性。

--disable-temp-file

下载文件时，将不再生成带 .temp 后缀的临时文件，而是直接创建并写入目标文件。该参数适用于将大量小文件（KB 级别）下载至 NAS 网络存储时 TPS（每秒完成数）较低的场景。

1. 启用该参数后，若任务中断或文件下载失败，会产生不完整的文件。

2. 启用该参数后，使用 -u 进行增量下载时，将始终基于 CRC64 校验已下载的文件内容。

3. 若关闭此参数并使用增量下载，将会依据最后修改时间跳过这些不完整的文件，因此请避免这样操作。

--list-parallel

扫描文件的并发数，默认值：1，取值范围：1-100。

--list-depth

并行扫描的最大深度，超过此深度的目录将不再并行扫描，默认值：1，取值范围：1-100。

假设源目录为prefix/，而该目录存在以下结构：

prefix/aa/

prefix/aa/1/、prefix/aa/2/

prefix/bb/

prefix/bb/1/、prefix/bb/2/

值为 1 代表使用 delimiter=/ 扫描顶层（prefix/），获取到 prefix/aa/，prefix/bb/后，二者不再使用 delimiter=/ 进行扫描。

值为 2 代表获取到 prefix/aa/，prefix/bb/ 后，二者仍使用 delimiter=/ 进行扫描，再得到的结果不再使用 delimiter=/ 进行扫描。

除上述的功能参数，关于Util支持的通用选项参数，详情请参考通用选项&过滤规则文档。

使用示例

  • 示例一：下载单个文件。

    • 没有指定文件名，则使用原文件名保存到本地。

      ./ks3util cp ks3://samplebucket/src-prefix/sample.txt local-dir/

    • 若指定了文件名，使用指定的文件名保存到本地。

      ./ks3util cp ks3://samplebucket/src-prefix/sample.txt local-dir/sample-file.txt

  • 示例二：下载目录。

    • 下载目录下所有文件，包括子目录。

      ./ks3util cp ks3://samplebucket/src-prefix/ local-dir/ -r

      当批量下载失败或需要增量下载文件时，可以通过指定--update（可缩写为-u）选项选择跳过已经成功下载的文件。如果本地与KS3没有同名文件，或本地同名文件的最后修改时间早于KS3文件，KS3Util会下载该文件。如果本地已有同名文件，且文件的最后修改时间晚于KS3内文件时，KS3Util会跳过该文件。

      ./ks3util cp ks3://samplebucket/src-prefix/ local-dir/ -r -u

    • 仅下载当前目录下的文件，忽略子目录。

      ./ks3util cp ks3://samplebucket/src-prefix/ local-dir/ -r --only-current-dir

  • 示例三：按规则匹配文件名下载

    • 使用–include和–exclude选项选择符合条件的文件下载。

      ./ks3util cp ks3://samplebucket/src-prefix/ local-dir/ -r --include *.jpg --exclude *screenshot*

  • 示例四：下载文件列表

    • 使用准备：创建列表文件list.txt，假设文件列表为以下内容。

      files/part01/file1
files/part01/file2

    • Case1：下载list.txt中的文件。

      ./ks3util cp ks3://samplebucket/ --object-file list.txt /root/abc/ -r

      下载后的文件在本地的路径为：/root/abc/files/part01/file1、/root/abc/files/part01/file2。

    • Case2：下载list.txt中的文件，去掉files/part01/前缀。

      ./ks3util cp ks3://samplebucket/files/part01/ --object-file list.txt /root/abc/ -r

      下载后的文件在本地的路径为：/root/abc/file1、/root/abc/file2。

  • 示例五：下载文件夹，测试模式运行。

    ./ks3util cp ks3://samplebucket/src-prefix/ local-dir/ -r --dry-run

  • 示例六：下载文件时，不生成临时文件，若本地已存在同名文件，则覆盖。

    ./ks3util cp ks3://samplebucket/src-prefix/ local-dir/ -r -f --disable-temp-file

  • 示例七：下载最后修改时间在指定范围的文件。

    ./ks3util cp ks3://samplebucket/src-prefix/ local-dir/ -r --time-range "20241106120000-20241110120000"

  • 示例八：下载文件夹，设置扫描并发数为5，最大并发扫描深度为1。

    ./ks3util cp ks3://samplebucket/src-prefix/ local-dir/ -r -f --list-parallel 5 --list-depth 1

文档导读
上一篇：上传文件（cp）
下一篇：复制文件（cp）
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈