全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

生命周期管理

最近更新时间:2024-09-18 17:00:50

使用场景

在KS3中存储的文件一般会经过新建、使用、归档和删除等一系列生命周期过程。文件新建后通常会被频繁访问,随后访问次数逐渐变少,最终会被删除。面对大规模的数据,如果用户手工去维护数据的生命周期,会浪费很多时间人力成本。但如果不去维护,文件始终作为标准存储类型存放会不断产生费用。KS3提供生命周期管理帮助用户自动批量完成数据生命周期管理,实现数据从创建到归档到删除的自动流程,从而节约人力和金钱成本。

生命周期管理的适用具体场景主要有:

  • 日志记录管理:可对周期性上传的日志数据设置生命周期,使日志数据定期归档和过期删除。

  • 低频访问文档管理:对于在一段时间内经常访问,但是超过一定时间后访问频率非常低的文档,可以设置生命周期,在一定时间后自动转化为低频存储,归档存储或者删除。

  • 存档文件管理:金融数据、医疗记录、媒体数据、数据库备份数据等常常需要长期保存,使用生命周期功能对历史版本的文件进行管理。

  • 批量删除大规模数据:手动删除对象有数量限制,在桶中配置一条生命周期管理规则,设置定时删除所有文件即可实现批量删除大规模数据。

API访问文档:PUT Bucket LifeCycle

费用说明

请求费用

  • 转换Object存储类型产生的请求费用。
    按Object源存储类型收取请求费用,即从标准存储类型转换为低频访问存储类型时,按标准存储类型的请求次数收取请求费用。从低频存储类型转换为归档存储类型时,按低频存储类型的请求次数收取请求费用。

  • 删除Object产生的请求费用
    按Object被删除时的存储类型收取请求费用。

存储费用

  • 低频存储最短存储期限为30天,早于30天删除、转换的文件,需要补足未满30天的剩余天数的存储费用,超过30天不需要补。

  • 归档存储最短存储期限为90天,早于90天删除的Object,需要补足未满90天的剩余天数的存储费用,超过90天不需要补。

有关收费标准的详细信息,请参见对象存储KS3详细价格。

控制台生命周期管理流程

KS3支持在特定时间点或对象最后一次被修改后的一段时间,进行批量删除对象或者批量转换对象的存储类型。为实现此目的,用户需要在存储空间上创建生命周期管理规则。

1. 每个存储空间最多可以创建1000条规则。

2. 用户在2017年4月12日之前上传的文件不支持存储类型转换和过期删除。

  1. 登录KS3控制台,点击左侧导航栏存储空间,进入存储空间列表页。

  2. 点击需要设置生命周期的存储空间,点击空间设置 > 生命周期

  3. 点击添加规则,在对话页中进行规则设置,配置项说明如下所示。

(1)状态 : 可设置规则设置的状态为启用或停用。

(2)策略:可选择按前缀匹配或配置到整个bucket。

  • 如果规则设置到整个bucket上,那么该bucket下所有对象都适用于该规则。

  • 如果规则设置为某个前缀,那么该bucket下只有匹配该前缀的Object才适用这个规则。

(3)标签 : 可针对有特定标签的Object,配置生命周期规则,配置时需要先勾选单选框激活KEY、VALUE输入框,之后输入相应的键、值,支持设置多个标签。

(4)过期策略:

  • 如果指定过期天数,那么从object最后一次被修改当天算起,指定天数之后,数据将进行指定的删除或者转化存储类型操作。

  • 如果指定过期日期,那么Object最后修改时间在指定日期之前的对象会被执行操作。

1. 过期日期:如果指定的过期日期是过去的日期,该规则在成功配置的次日0点将会开始生效;如果指定的过期日期是未来日期,该规则在到达该日期的次日0点才会开始生效。全部操作完成时间与对象的数量规模有关,建议客户在开始生效的次日观察生效情况。

2. 过期天数:该规则在成功配置的次日0点将会开始生效。全部操作完成时间与对象的数量规模有关,建议客户在开始生效的次日观察生效情况。

(5)点击确定,完成生命周期配置。

  1. KS3支持是否开启允许前缀重叠功能,如果客户开启允许前缀重叠,KS3将允许客户设置前缀重叠的规则;如果客户没有开启允许前缀重叠,且规则中没有设置Tag标签,客户设置前缀重叠的规则将会报错;如果客户没有开启允许前缀重叠,但规则中设置了Tag标签,KS3也将允许客户设置前缀重叠的规则。

  1. 编辑、删除、停用及启动规则

(1)点击空间设置 > 生命周期。

(2)在规则列表右侧点击相应的按钮即可进行编辑规则、删除、停用和启用规则的操作。

规则设置说明

匹配方式描述

生命周期支持以下匹配方式:

匹配方式

描述

按前缀匹配

  • 按指定前缀匹配Object。可创建多条规则匹配不同的前缀,如果未开启允许前缀重叠功能,多条前缀默认不能重叠。例如,同一个Bucket配置了两条规则,一条前缀是pics/,一条前缀是pics/program,KS3将会报错。

  • 全部文件与任意前缀的文件均为重叠关系。

  • 设置前缀时请勿以/开始,否则规则不会匹配到任何Object。

  • 如果规则设置到整个Bucket上,那么该Bucket下所有对象都适用于该规则;如果规则设置为按某个前缀匹配,那么该Bucket下只有匹配该前缀的Object才适用这个规则。

配置到整个Bucket

匹配整个Bucket内的所有Object和碎片。如果未开启允许前缀重叠功能,此种方式只能创建一条规则。

按标签匹配

  • 按指定标签的Key和Value匹配Object。

  • 单条规则可配置多个标签,KS3对所有拥有这些标签的对象执行生命周期规则。

按前缀+标签匹配

按指定前缀和一个或多个标签的筛选条件匹配对象。

示例:一个Bucket有如下几个Object:

pics/dog.gif
pics/cat.gif
pics/bird.gif
docs/readme.txt

如果一个规则指定的前缀是pics/,那么该规则就适用于前三个以pics/开头的Object;如果规则指定的前缀是docs/readme.txt,那么这条规则就只对docs/readme.txt起作用。

过期策略及操作描述

如下所示为不同过期策略及操作对应的描述:

过期策略

描述

指定过期天数或者过期日期

  • 如果指定过期天数,那么从Object最后一次被修改当天算起,指定天数后,数据将进行指定的删除或者转化存储类型操作。

示例:设置对桶内所有对象过期天数为3天后执行删除操作,若Object1最后修改时间为2018-08-01 18:01:26 ,那么3天后,也就是2018-08-05 00:00:00,对象将被删除;若Object2最后修改时间为2018-08-03 18:01:26 ,那么3天后,也就是2018-08-07 00:00:00,对象将被删除。

  • 如果指定过期日期,那么Object最后修改时间在指定日期之前的对象会被执行操作。

示例:用户设置过期日期为2018-01-01T00:00:00.000Z,对所有对象执行转化低频存储类型操作,若Object1的最后修改时间 为2017-08-01 18:01:26 ,则会被转化存储类型为低频,若Object2的最后修改时间 为2018-08-02 18:01:26,则不会被转化。注意如果设置的过期日期为未来日期,要等到达该日期的次日0点规则才会开始生效。

指定过期后删除或改变文件的存储类型

  • 转换为低频存储文件

可以选择过期日期/过期天数/不开启,规则配置将在次日0点开始生效,比如下午3点启用的规则,将会在第二天0点开始生效,全部操作完成时间与对象的数量规模有关,建议客户第三天观察生效情况。

  • 转换为归档存储文件

可以选择过期日期/过期天数/不开启,规则配置将在次日0点开始生效,比如下午3点启用的规则,将会在第二天0点开始生效,全部操作完成时间与对象的数量规模有关,建议客户第三天观察生效情况。

  • 过期删除

可以选择过期日期/过期天数/不开启,规则配置将在次日0点开始生效,比如下午3点启用的规则,将会在第二天0点开始生效,全部操作完成时间与对象的数量规模有关,建议客户第三天观察生效情况。

规则生效说明

前缀生效说明

只要Object名称前缀和一条规则的前缀匹配,那么该规则就适用于它。例如,一个Bucket有如下几个Object:

logs/program.log.1
logs/program.log.2
logs/program.log.3
doc/readme.txt

如果一个规则指定的前缀是logs/,那么该规则就适用于前三个以logs/开头的Object;如果前缀是doc/readme.txt,那么这条规则就只对doc/readme.txt起作用。

规则冲突生效说明

当客户开启了允许前缀重叠时,同一个Object可能符合多个规则,KS3将遵循按时间先后顺序及成本最小原则生效。

场景

生效原则

示例

规则生效时间点不一致

按时间先后顺序执行

  • 示例一:设置桶内所有对象10天后删除、指定前缀为logs/的对象5天后转为低频存储。则最终执行结果为5天后前缀为logs/的对象转为低频存储,桶内所有文件10天后删除。

  • 示例二:设置桶内所有对象10天后删除、指定前缀logs/的对象365天后转为低频存储。则最终执行结果为10天后所有对象被删除。

规则生效时间点一致,但执行不同的操作

按照成本最小原则生效,规则生效优先级为:删除 > 转化为归档 > 转化为低频

  • 示例一:设置指定前缀为logs/的对象5天后转为低频存储,设置指定前缀为logs/的对象5天后删除。则最终执行结果为5天后指定前缀为logs/的对象直接删除,不执行转低频存储的操作。

  • 示例二:设置指定前缀为logs/的对象5天后转为低频存储,设置指定前缀为logs/的对象5天后转为归档存储。则最终执行结果为5天后指定前缀为logs/的对象直接转为归档存储,不执行转为低频存储的操作。

单个规则内约束和限制说明

规则

限制

单个规则同时配置了转低频和转归档

转低频时间或日期+30<=转归档时间或日期

单个规则同时配置了转低频和删除

转低频时间或日期<删除时间或日期

单个规则同时配置了转归档和删除

转归档时间或日期<删除时间或日期

单个规则同时配置了转低频、转归档和删除

转低频时间或日期+30<=转归档时间或日期<删除文件时间或日期

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈