最近更新时间:2025-06-20 17:22:49
可以通过recover选项指定任务ID,使用 cp 命令恢复失败的任务。
以下示例均以Linux为例。
./ks3util cp --recover <taskId>
[-f, --force]
[-u, --update]
[--bigfile-threshold <value>]
[--part-size <value>]
[--storage-class <value>]
[--acl <value>]
[--meta <value>]
[--tagging <value>]
[--sse-algorithm <value>]
[-j, --jobs <value>]
[--parallel <value>]
[--checkpoint-dir <value>]
[--disable-crc64]
[--dry-run]
[--disable-temp-file]参数 | 说明 |
--recover | 待恢复失败任务的任务ID。指定该选项时表示恢复失败的任务,此时不需要指定源地址和目标地址,待重传的文件会从失败结果清单中读取。 |
-f, --force | 强制操作,不进行询问提示。当目标文件已存在,且没有使用-u选项时,会覆盖目标文件(即所有文件重传)。 |
-u, --update | 更新操作,只有当目标文件不存在,或源文件的最后修改时间晚于目标文件时,KS3Util才会执行复制操作,否则会跳过该文件。 |
--bigfile-threshold | 开启大文件分块操作的阈值,大于等于该值的文件会进行分块。格式为:值+单位。单位可选,支持的单位:B、KB、MB、GB、TB,默认单位为B(Byte)。默认值:100MB(104857600)。 |
--part-size | 分块大小,默认情况下根据文件大小自行计算合适的值。格式为:值+单位。单位可选,支持的单位:B、KB、MB、GB、TB,默认单位为B(Byte)。取值范围:5MB-5GB(5242880-5368709120)。 如果有特殊需求或者需要性能调优,可以设置该值。 |
--storage-class | 设置对象的存储类型,可选值:STANDARD、STANDARD_IA、ARCHIVE。 |
--acl | 设置对象的访问权限,可选值:private 、public-read。 |
--meta | 设置对象的元数据,格式为:header:value#header:value(多组值之间以#分隔),例如:Cache-Control:no-cache#Content-Encoding:gzip。 |
--tagging | 设置对象的标签,格式为:"TagA=A&TagB=B"(多个标签以&分隔),例如:"tag1=value1&tag2=value2"。若未指定,则与源文件保持一致。 该选项的值需要使用双引号包含。 |
--sse-algorithm | 设置服务端加密算法,可选值:AES256、SM4。 |
-j, --jobs | 多文件操作时的并发数,默认值:5,取值范围:1-10000。 1. 该参数决定有多少个文件并行操作。 2. 批量操作文件时适合调整该参数。 3. Util2.9.0版本默认值由3改为5。 |
--parallel | 单文件内部操作的并发任务数,取值范围:1-10000。 1. 默认KS3 Util会根据操作类型和文件大小自动决定,自动取值范围是1-12。 2. 该参数决定单个文件有多少个块并行操作。 3. 操作单个大文件时适合调整该参数。 4. 总并发数= jobs * parallel。 |
--checkpoint-dir | checkpoint目录的路径(默认值为:.ks3util_checkpoint),断点续传时,操作失败KS3Util会自动创建该目录,并在该目录下记录checkpoint信息,操作成功会删除该目录。如果指定了该选项,请确保所指定的目录可以被删除。 |
--disable-crc64 | 关闭CRC64数据校验。默认情况下,KS3Util进行数据传输时都会打开CRC64校验。 |
--dry-run | 测试模式运行,不执行实际复制操作,用于验证流程的正确性。 |
--disable-temp-file | 下载文件时不创建临时文件,而是直接下载为目标文件。若将文件下载到NAS遇到下载速度瓶颈,可尝试使用该选项。若使用该选项,执行过程中请不要中断任务,假如任务中断后需要重新执行,建议与-f参数一起使用,请勿与 1. 任务中断会导致正在下载的文件未下载完成,由于不生成临时文件,若使用 2. 任务中断后重新执行,与 |
通过任务ID恢复失败的任务示例:
假设通过cp命令上传文件夹
./ks3util cp /root/test/100_files/ ks3://samplebucket/100_files/ -r -f部分输出如下:
[--------------------------------------------->_________] 82.00% tps:1.50 速度:12.43KB/s 完成数:100/100 完成大小:820.00KB/1000.00KB 1m6.788s
Succeed count: 82 Failed count: 18
Succeed bytes: 820.00KB
Task id: 4f6bd0c2-807c-477d-9442-71c1c5f935351. 在该示例任务中,上传100个文件,成功了82个文件,失败了18个文件。
2. 执行结束后会输出Task id:4f6bd0c2-807c-477d-9442-71c1c5f93535。
3. 假设第一次执行时,因为网络等问题导致部分文件失败,那么可根据Task id找到失败的清单文件,从而重传失败的文件。
通过任务ID恢复失败的任务,任务ID需用通过--recover选项指定。
./ks3util cp --recover 4f6bd0c2-807c-477d-9442-71c1c5f93535 -f恢复失败的任务时,不需要指定源地址和目标地址。
部分输出如下:
[----------------------------------------------------------] 100.00% tps:43.59 速度:435.95KB/s 完成数:18/18 完成大小:180.00KB/180.00KB 413ms
Succeed count: 18 Failed count: 0
Succeed bytes: 180.00KB
Task id: 097cc76f-9ce0-4e6a-93ba-68db668d22aa该输出表明根据任务ID重传了失败的18个文件,并且均上传成功。
纯净模式
