全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

恢复失败的任务(cp)

最近更新时间:2025-06-20 17:22:49

可以通过recover选项指定任务ID,使用 cp 命令恢复失败的任务。

以下示例均以Linux为例。

命令格式

./ks3util cp --recover <taskId>
[-f, --force] 
[-u, --update]
[--bigfile-threshold <value>]
[--part-size <value>]
[--storage-class <value>]
[--acl <value>]
[--meta <value>]
[--tagging <value>]
[--sse-algorithm <value>]
[-j, --jobs <value>]
[--parallel <value>]
[--checkpoint-dir <value>]
[--disable-crc64]
[--dry-run]
[--disable-temp-file]

参数说明

参数

说明

--recover

待恢复失败任务的任务ID。指定该选项时表示恢复失败的任务,此时不需要指定源地址和目标地址,待重传的文件会从失败结果清单中读取。

-f, --force

强制操作,不进行询问提示。当目标文件已存在,且没有使用-u选项时,会覆盖目标文件(即所有文件重传)。

-u, --update

更新操作,只有当目标文件不存在,或源文件的最后修改时间晚于目标文件时,KS3Util才会执行复制操作,否则会跳过该文件。

--bigfile-threshold

开启大文件分块操作的阈值,大于等于该值的文件会进行分块。格式为:值+单位。单位可选,支持的单位:B、KB、MB、GB、TB,默认单位为B(Byte)。默认值:100MB(104857600)。

--part-size

分块大小,默认情况下根据文件大小自行计算合适的值。格式为:值+单位。单位可选,支持的单位:B、KB、MB、GB、TB,默认单位为B(Byte)。取值范围:5MB-5GB(5242880-5368709120)。

如果有特殊需求或者需要性能调优,可以设置该值。

--storage-class

设置对象的存储类型,可选值:STANDARD、STANDARD_IA、ARCHIVE。

--acl

设置对象的访问权限,可选值:private 、public-read。

--meta

设置对象的元数据,格式为:header:value#header:value(多组值之间以#分隔),例如:Cache-Control:no-cache#Content-Encoding:gzip。

--tagging

设置对象的标签,格式为:"TagA=A&TagB=B"(多个标签以&分隔),例如:"tag1=value1&tag2=value2"。若未指定,则与源文件保持一致。

该选项的值需要使用双引号包含。

--sse-algorithm

设置服务端加密算法,可选值:AES256、SM4。

-j, --jobs

多文件操作时的并发数,默认值:5,取值范围:1-10000。

1. 该参数决定有多少个文件并行操作。

2. 批量操作文件时适合调整该参数。

3. Util2.9.0版本默认值由3改为5。

--parallel

单文件内部操作的并发任务数,取值范围:1-10000。

1. 默认KS3 Util会根据操作类型和文件大小自动决定,自动取值范围是1-12。

2. 该参数决定单个文件有多少个块并行操作。

3. 操作单个大文件时适合调整该参数。

4. 总并发数= jobs * parallel。

--checkpoint-dir

checkpoint目录的路径(默认值为:.ks3util_checkpoint),断点续传时,操作失败KS3Util会自动创建该目录,并在该目录下记录checkpoint信息,操作成功会删除该目录。如果指定了该选项,请确保所指定的目录可以被删除。

--disable-crc64

关闭CRC64数据校验。默认情况下,KS3Util进行数据传输时都会打开CRC64校验。

--dry-run

测试模式运行,不执行实际复制操作,用于验证流程的正确性。

--disable-temp-file

下载文件时不创建临时文件,而是直接下载为目标文件。若将文件下载到NAS遇到下载速度瓶颈,可尝试使用该选项。若使用该选项,执行过程中请不要中断任务,假如任务中断后需要重新执行,建议与-f参数一起使用,请勿与-u选项一起使用。

1. 任务中断会导致正在下载的文件未下载完成,由于不生成临时文件,若使用-u选项这些文件会被直接跳过,导致与ks3中文件不一致,因此请勿与-u选项一起使用。

2. 任务中断后重新执行,与-f选项时一起使用时,若目标文件已存在则会强制覆盖,即重新下载所有文件,可以保证文件一致性,推荐与该参数一起使用。缺点是已下载的文件也会被重新下载,造成额外的开销。

使用示例

通过任务ID恢复失败的任务示例:

  • 假设通过cp命令上传文件夹

    ./ks3util cp /root/test/100_files/ ks3://samplebucket/100_files/ -r -f

    部分输出如下:

    [--------------------------------------------->_________] 82.00% tps:1.50 速度:12.43KB/s 完成数:100/100 完成大小:820.00KB/1000.00KB 1m6.788s
    Succeed count: 82          Failed count:  18          
    Succeed bytes: 820.00KB
    Task id: 4f6bd0c2-807c-477d-9442-71c1c5f93535

    1. 在该示例任务中,上传100个文件,成功了82个文件,失败了18个文件。

    2. 执行结束后会输出Task id:4f6bd0c2-807c-477d-9442-71c1c5f93535

    3. 假设第一次执行时,因为网络等问题导致部分文件失败,那么可根据Task id找到失败的清单文件,从而重传失败的文件。

  • 通过任务ID恢复失败的任务,任务ID需用通过--recover选项指定。

    ./ks3util cp --recover 4f6bd0c2-807c-477d-9442-71c1c5f93535 -f

    恢复失败的任务时,不需要指定源地址和目标地址。

    部分输出如下:

    [----------------------------------------------------------] 100.00% tps:43.59 速度:435.95KB/s 完成数:18/18 完成大小:180.00KB/180.00KB 413ms
    Succeed count: 18          Failed count:  0           
    Succeed bytes: 180.00KB
    Task id: 097cc76f-9ce0-4e6a-93ba-68db668d22aa

    该输出表明根据任务ID重传了失败的18个文件,并且均上传成功。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈