最近更新时间:2025-11-12 15:35:01
如果您希望对存储桶中的文件批量执行解冻、修改ACL、删除文件操作,您可以使用KS3的批量处理功能。
创建批量任务前,您需要授权KS3向您的存储桶中读写文件,您可以根据KS3控制台提示完成授权。如果您之前已授权,则无需重复授权。
创建、获取、列举、更改、删除批量处理任务等操作,必须是主账号或具有相应的操作权限。
创建批量处理任务会产生额外收费,KS3会按创建的任务数和对象处理量进行收费,费用详情如下所示:
计费方式 | 计费项 | 计费方法 |
|---|---|---|
按量计费 | 任务数费用 | 任务数费用=创建的任务数 x 单价 |
对象处理量费用 | 对象处理量费用=每处理万个对象 x 单价 |
1. 收取对象处理量费用后将不再收取对象普通的PUT类请求次数费用。
2. 具体价格信息请参见文档:价格详情。
创建批量任务后,KS3会对指定桶或前缀的文件逐一执行设置的操作,KS3支持的批量操作及注意事项如下表所示:
支持任务 | 说明 | 注意事项 |
|---|---|---|
批量解冻 | 支持批量解冻归档类型文件。 | |
批量设置ACL | 支持批量设置文件ACL。 | 如果文件已经是目标ACL类型,再次执行操作后,最终记录到总扫描数量(TotalNumberOfTasks)和成功操作数量(NumberOfTasksSucceeded)中。 |
批量删除 | 支持批量删除文件。 |
|
使用方式 | 参考文档 |
|---|---|
API |
功能 | 说明 |
|---|---|
创建批量处理任务 | 创建批量处理任务需提供以下信息:
|
获取单个指定批量处理任务详情 | 获取的单个批量处理任务详情包含以下信息:
|
列出批量处理任务 | 列出的批量处理任务包含以下信息:
|
更新批量处理任务优先级 | 更新批量处理任务优先级需提供以下信息:
|
删除批量处理任务 | 删除批量处理任务需提供以下信息:
|
创建规则时,建议开启任务失败列表投递的功能。任务结束后,如果存在操作失败的文件,KS3将以报告形式投递到客户指定桶内,客户可查看操作失败的文件列表以及操作失败的原因。
任务失败列表报告投递的目录结构如下所示:
job-<jobID>/
├──results/
├──<jobID>_failed_00001.csv.gz
├──<jobID>_failed_00002.csv.gz
├──<jobID>_failed_00003.csv.gz
├──manifest.json
├──manifest.json.md5结构说明:
名称 | 说明 | 详情 |
|---|---|---|
job-<jobID>/ | 以jobID命名的目录名称。目录内包含全部任务失败列表报告相关的文件。 | 示例值: |
results/ | 包含任务失败列表报告的目录。 | |
<jobID>_failed_01.csv.gz | 记录操作失败的文件名称及失败原因。文件大小超过128MB后将进行切分。 | 具体包括以下内容:
|
<jobID>_failed_02.csv.gz | ||
<jobID>_failed_03.csv.gz | ||
manifest.json | 包含报告生成时间、报告存放位置等信息的文件。 | 具体参数描述如下所示:
|
manifest.json.md5 | manifest.json文件的MD5值,用于校验文件的内容完成性。 |
纯净模式
