全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

恢复失败的任务(cp)

最近更新时间:2026-08-05 16:34:24

可以通过--recover选项指定任务ID,使用 cp 命令恢复失败的任务。

以下示例均以Linux为例。

命令格式

./ks3util cp --recover <taskId>
[-f, --force] 
[-u, --update]
[--bigfile-threshold <value>]
[--part-size <value>]
[--storage-class <value>]
[--acl <value>]
[--meta <value>]
[--tagging <value>]
[--sse-algorithm <value>]
[-j, --jobs <value>]
[--parallel <value>]
[--bandwidth-limit <value>]
[--checkpoint-dir <value>]
[--disable-crc64]
[--dry-run]

参数说明

参数

说明

--recover

待恢复失败任务的任务ID。指定该选项时表示恢复失败的任务,此时不需要指定源地址和目标地址,待重传的文件会从失败结果清单中读取。

-f, --force

强制操作,不进行询问提示。当目标文件已存在,且没有使用-u选项时,会覆盖目标文件(即所有文件重传)。

-u, --update

更新操作,只有当目标文件不存在,或源文件的最后修改时间晚于目标文件时,KS3Util才会执行复制操作,否则会跳过该文件。

--bigfile-threshold

开启大文件分块操作的阈值,大于等于该值的文件会进行分块。

  • 格式:值+单位

  • 默认值:100MB(104857600)

  • 默认单位:B(Byte)

可选单位:B、KB、MB、GB、TB。

--part-size

分块大小,默认情况下将根据文件大小自动计算合适的值。

  • 格式:值+单位

  • 默认单位:B(Byte)

  • 取值范围:5MB-5GB(5242880-5368709120)

1. 可选单位:B、KB、MB、GB。

2. 如果有特殊需求或需要性能调优,可以设置该值。

--storage-class

设置对象的存储类型,可选值:STANDARD、STANDARD_IA、ARCHIVE。

--acl

设置对象的访问权限,可选值:private、public-read。

--meta

设置对象的元数据,格式为:header:value#header:value(多组值之间以#分隔),例如:Cache-Control:no-cache#Content-Encoding:gzip。

--tagging

设置对象的标签,格式为:"TagA=A&TagB=B"(多个标签以&分隔),例如:"tag1=value1&tag2=value2"。若未指定,则与源文件保持一致。

该选项的值需要使用双引号包含。

--sse-algorithm

设置服务端加密算法,可选值:AES256、SM4。

-j, --jobs

多文件操作时的并发数,表示有多少个文件并行传输。默认值:5,取值范围:1-10000。

--parallel

单文件内部操作的并发任务数,表示单个大文件有多少个块并行传输。取值范围:1-10000。

--bandwidth-limit

设置网络带宽限速,用于限制文件传输速度。例如:100MB 表示限速 100MB/s。

  • 格式:值+单位

  • 默认值:无(不限速)

  • 默认单位:B(Byte)

可选单位:B、KB、MB、GB

--checkpoint-dir

断点续传信息存储目录,默认值为当前工作目录下的 .ks3util_checkpoint,大文件分块传输中断后可从中断点续传。

--disable-crc64

关闭 CRC64 数据校验。默认情况下数据传输时自动开启 CRC64 校验以确保完整性。

--dry-run

测试模式运行,不执行实际复制操作,用于验证流程的正确性。

使用示例

通过任务ID恢复失败的任务示例:

  • 假设通过cp命令上传文件夹

    ./ks3util cp /root/test/100_files/ ks3://samplebucket/100_files/ -r -u

    部分输出如下:

    [--------------------------------------------->_________] 82.00% tps:1.50 速度:12.43KB/s 完成数:100/100 完成大小:820.00KB/1000.00KB 1m6.788s
    Succeed count: 82          Failed count:  18          
    Succeed bytes: 820.00KB
    Task id: 4f6bd0c2-807c-477d-9442-71c1c5f93535

    1. 在该示例任务中,上传100个文件,成功了82个文件,失败了18个文件。

    2. 执行结束后会输出Task id:4f6bd0c2-807c-477d-9442-71c1c5f93535

    3. 假设第一次执行时,因为网络等问题导致部分文件失败,那么可根据Task id找到失败的清单文件,从而重传失败的文件。

  • 通过任务ID恢复失败的任务,任务ID需要通过--recover选项指定。

    ./ks3util cp --recover 4f6bd0c2-807c-477d-9442-71c1c5f93535 -u

    恢复失败的任务时,不需要指定源地址和目标地址。

    部分输出如下:

    [----------------------------------------------------------] 100.00% tps:43.59 速度:435.95KB/s 完成数:18/18 完成大小:180.00KB/180.00KB 413ms
    Succeed count: 18          Failed count:  0           
    Succeed bytes: 180.00KB
    Task id: 097cc76f-9ce0-4e6a-93ba-68db668d22aa

    该输出表明根据任务ID重传了失败的18个文件,并且均上传成功。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈