生命周期

最近更新时间:2021-08-20 11:59:54

查看PDF

使用场景

在KS3中存储的文件一般会经过新建、使用、归档和删除等一系列生命周期过程。在新建后,文档通常会被频繁访问,随后访问次数逐渐变少,最终会被删除。面对大规模的数据,如果用户手工去维护数据的生命周期,会浪费很多时间人力成本;但如果不去维护,数据始终存放在标准存储里则会不断产生费用。KS3提供生命周期管理帮助用户自动批量完成数据生命周期管理,实现数据从创建到归档到删除的自动流程,从而节约人力和金钱成本。

生命周期管理的适用具体场景有:

  • 日志记录管理:可对周期性上传的日志数据设置生命周期,使日志数据定期归档和过期删除;
  • 低频访问文档管理:对于在一段时间内经常访问,但是超过一定时间后访问频率非常低的文档,可以设置生命周期,在一定时间后自动转化为低频存储,归档存储或者删除;
  • 存档文件管理:金融数据、医疗记录、媒体数据、数据库备份数据等常常需要长期保存,使用生命周期功能对历史版本的文件进行管理;
  • 批量删除大规模数据。手动删除对象有数量限制,在桶中配置一条生命周期管理规则,设置定时删除所有文件即可实现批量删除大规模数据;

操作方式

支持控制台和API两种操作方式:

操作方式 参考文档
控制台 控制台空间管理-生命周期管理
API API文档-生命周期

生命周期创建流程

KS3支持在特定时间点或对象最后一次被修改后的一段时间,进行批量删除对象或者批量转换对象的存储类型。为实现此目的,用户需要在存储空间上创建生命周期管理规则:

  1. 选定需要设置生命周期的bucket。
  2. 设置规则,分为针对整个bucket生效或者是对特定前缀的对象生效两种。
  3. 设置策略,可以指定特定过期日期或过期天数,即在特定日期或者在文件最后修改时间后多少天后进行删除或者转换。

注意:
规则创建后,用户可以启用或者停用规则。

每个存储空间最多可以创建1000条规则。

用户在2017年4月12日之前上传的文件不支持存储类型转换和过期删除

细节说明

状态:

指定本条规则的状态,分别表示启用和停用该规则。

策略:

KS3支持匹配方式:

  • 按前缀匹配:

    • 按指定前缀匹配Object。可创建多条规则匹配不同的前缀,多条前缀不能重叠,例如,同一bucket配置了两条规则,一条前缀是pics/,一条前缀是pics/program,那么KS3会返回错误。
    • 全部文件与任意前缀的文件均为重叠关系,故当您设置全部文件范围的规则后,不能再创建文件前缀的规则。
    • 设置前缀时不要以“/”开始,否则规则不会匹配到任何object。
    • 如果规则设置到整个bucket上,那么该bucket下所有对象都适用于该规则;如果规则设置为某个前缀,那么该bucket下只有匹配该前缀的Object才适用这个规则。
  • 按标签匹配:

    • 按指定标签的Key和Value匹配Object。
    • 单条规则可配置多个标签,KS3对所有拥有这些标签的对象执行生命周期规则。
  • 按前缀+标签匹配:按指定前缀和一个或多个标签的筛选条件匹配对象。

  • 配置到整个Bucket:匹配整个Bucket内的所有Object和碎片。此种方式只能创建一条规则。

例如:一个Bucket有如下几个Object:

pics/dog.gif
pics/cat.gif
pics/bird.gif
docs/readme.txt

如果一个规则指定的前缀是pics/,那么该规则就适用于前三个以pics/开头的object;如果前缀是docs/readme.txt,那么这条规则就只对docs/readme.txt起作用。

过期策略

1.指定过期天数或者过期日期:

  • 如果指定过期天数,那么从object最后一次被修改当天算起,指定天数之后,数据将进行指定的删除或者转化存储类型操作。

    例如:用户设置对所有对象,设置过期天数为3后执行删除操作,若object1最后修改时间为2018-08-01 18:01:26 ,那么3天后,也就是2018-08-05 00:00:00,对象将被删除;若object2最后修改时间为2018-08-03 18:01:26 ,那么3天后,也就是2018-08-07 00:00:00,对象将被删除。

  • 如果指定过期日期,那么object最后修改时间在指定日期之前的对象会被执行操作。
    例如:用户设置过期日期为2018-01-01T00:00:00.000Z,对所有对象执行转化低频存储操作,若object1的最后修改时间 为2017-08-01 18:01:26 ,则会被转化存储类型为低频,若object2的最后修改时间 为2018-08-02 18:01:26,则不会被转化。

2.指定过期后删除或改变文件的存储类型:

  • 转换为低频存储文件

    可以选择过期日期天数或者不启用,规则配置在一天内生效,比如下午三点启用的规则,将会在第二天0点生效。从转换条件满足,转换操作被触发,KS3需要一段时间才能完成转换操作,这段时间与对象的数量规模有关。

  • 转换为归档存储文件

    可以选择过期日期天数或者不启用,规则配置在一天内生效,比如下午三点启用的规则,将会在第二天0点生效。

注意:

从转换条件满足,转换操作被触发(过期删除同理),KS3需要一段时间才能完成转换操作,这段时间与对象的数量规模有关。

  • 过期删除

    规则配置在一天内生效,比如下午三点启用的规则,将会在第二天0点生效。从删除条件满足,删除行为被触发,KS3需要一段时间才能完成删除操作,这段时间与被删除对象的数量规模有关。

约束和限制

  • 如果配置了转低频规则和转归档规则,会有如下限制:转低频时间或日期+30<=转归档时间或日期。
  • 如果配置了转低频规则和删除规则,会有如下限制:转低频时间或日期<删除时间或日期。
  • 如果配置了转归档规则和删除规则,会有如下限制:转归档时间或日期<删除时间或日期。
  • 如果配置了转低频、转归档和删除规则,会有如下限制:转低频时间或日期+30<=转归档时间或日期<删除文件时间或日期。
  • 如果只配置三条中的一条,则没有任何限制。

存储类型转换费用说明

  • 低频存储最短存储期限为30天,早于30天删除、转换的文件,需要补足未满30天的剩余天数的存储费用,超过30天不需要补。
  • 归档存储最短存储期限为90天,早于90天删除的Object,需要补足未满90天的剩余天数的存储费用,超过90天不需要补。

生命周期规则匹配逻辑

  • 前缀规则生效说明
    只要Object名称前缀和一条规则的前缀匹配,那么该规则就适用于它。例如,一个Bucket有如下几个Object:
    logs/program.log.1
    logs/program.log.2
    logs/program.log.3
    doc/readme.txt
    如果一个规则指定的前缀是logs/,那么该规则就适用于前三个以logs/开头的Object;如果前缀是doc/readme.txt,那么这条规则就只对doc/readme.txt起作用。

  • 规则冲突行为
    若您设置匹配规则,存在某时刻同时满足两种以上不同的执行操作,KS3优先级处理方式为:删除 > 转化为归档 > 转化为低频 。
    举例说明:
    当您配置了如下规则

rule序号 prefix tagging action
rule1 123 a=1 20天后删除
rule2 12345 a=1 20天后转为归档存储
rule3 1233456 a=1 20天后转为低频存储

当满足前缀为123,且拥有a=1的对象会在20天后执行删除操作,此时文件已经不存在,所已规则二、规则三没有意义。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈