全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

生命周期管理

最近更新时间:2023-04-25 17:00:30

使用场景

在KS3中存储的文件一般会经过新建、使用、归档和删除等一系列生命周期过程。在新建后,文档通常会被频繁访问,随后访问次数逐渐变少,最终会被删除。面对大规模的数据,如果用户手工去维护数据的生命周期,会浪费很多时间人力成本;但如果不去维护,数据始终存放在标准存储里则会不断产生费用。KS3提供生命周期管理帮助用户自动批量完成数据生命周期管理,实现数据从创建到归档到删除的自动流程,从而节约人力和金钱成本。

生命周期管理的适用具体场景有:

  • 日志记录管理:可对周期性上传的日志数据设置生命周期,使日志数据定期归档和过期删除;
  • 低频访问文档管理:对于在一段时间内经常访问,但是超过一定时间后访问频率非常低的文档,可以设置生命周期,在一定时间后自动转化为低频存储,归档存储或者删除;
  • 存档文件管理:金融数据、医疗记录、媒体数据、数据库备份数据等常常需要长期保存,使用生命周期功能对历史版本的文件进行管理;
  • 批量删除大规模数据。手动删除对象有数量限制,在桶中配置一条生命周期管理规则,设置定时删除所有文件即可实现批量删除大规模数据;

生命周期创建流程

KS3支持在特定时间点或对象最后一次被修改后的一段时间,进行批量删除对象或者批量转换对象的存储类型。为实现此目的,用户需要在存储空间上创建生命周期管理规则。

注意事项

每个存储空间最多可以创建1000条规则。

用户在2017年4月12日之前上传的文件不支持存储类型转换和过期删除

控制台操作流程

1. 登录KS3控制台,点击左侧导航栏存储空间,进入存储空间列表页。

2. 点击需要设置生命周期的存储空间,点击空间设置 > 生命周期

3. 点击添加规则,在对话页中进行规则设置,配置项说明如下:

(1)状态 : 可设置规则设置的状态为启用或停用。

(2)策略:可选择按前缀匹配或配置到整个bucket。

  • 如果规则设置到整个bucket上,那么该bucket下所有对象都适用于该规则。

  • 如果规则设置为某个前缀,那么该bucket下只有匹配该前缀的Object才适用这个规则。

(3)标签 : 可针对有特定标签的Object,配置生命周期规则,配置时需要先勾选单选框激活KEY、VALUE输入框,之后输入相应的键、值,输入完毕之后,点击添加(若不点击添加则该标签视为废弃),若需设置多个标签同理。


(4)过期策略:

  • 如果指定过期天数,那么从object最后一次被修改当天算起,指定天数之后,数据将进行指定的删除或者转化存储类型操作。

  • 如果指定过期日期,那么object最后修改时间在指定日期之前的对象会被执行操作。

4. 点击 确定,完成生命周期配置,该条规则将在第二天00:00生效。

编辑、删除、停用及启动规则

1. 点击 空间设置 > 生命周期

2. 在规则列表右侧点击相应的按钮即可进行编辑规则、删除、停用和启用规则的操作。

API操作方式:API文档-生命周期

细节说明

状态:

指定本条规则的状态,分别表示启用和停用该规则。

策略:

KS3支持匹配方式:

  • 按前缀匹配

    • 按指定前缀匹配Object。可创建多条规则匹配不同的前缀,多条前缀不能重叠,例如,同一bucket配置了两条规则,一条前缀是pics/,一条前缀是pics/program,那么KS3会返回错误。
    • 全部文件与任意前缀的文件均为重叠关系,故当您设置全部文件范围的规则后,不能再创建文件前缀的规则。
    • 设置前缀时不要以“/”开始,否则规则不会匹配到任何object。
    • 如果规则设置到整个bucket上,那么该bucket下所有对象都适用于该规则;如果规则设置为某个前缀,那么该bucket下只有匹配该前缀的Object才适用这个规则。
  • 按标签匹配:

    • 按指定标签的Key和Value匹配Object。
    • 单条规则可配置多个标签,KS3对所有拥有这些标签的对象执行生命周期规则。
  • 按前缀+标签匹配:按指定前缀和一个或多个标签的筛选条件匹配对象。

  • 配置到整个Bucket:匹配整个Bucket内的所有Object和碎片。此种方式只能创建一条规则。

例如:一个Bucket有如下几个Object:

pics/dog.gif
pics/cat.gif
pics/bird.gif
docs/readme.txt

如果一个规则指定的前缀是pics/,那么该规则就适用于前三个以pics/开头的object;如果前缀是docs/readme.txt,那么这条规则就只对docs/readme.txt起作用。

过期策略

1. 指定过期天数或者过期日期:

  • 如果指定过期天数,那么从object最后一次被修改当天算起,指定天数之后,数据将进行指定的删除或者转化存储类型操作。

    例如:用户设置对所有对象,设置过期天数为3后执行删除操作,若object1最后修改时间为2018-08-01 18:01:26 ,那么3天后,也就是2018-08-05 00:00:00,对象将被删除;若object2最后修改时间为2018-08-03 18:01:26 ,那么3天后,也就是2018-08-07 00:00:00,对象将被删除。

  • 如果指定过期日期,那么object最后修改时间在指定日期之前的对象会被执行操作。
    例如:用户设置过期日期为2018-01-01T00:00:00.000Z,对所有对象执行转化低频存储操作,若object1的最后修改时间 为2017-08-01 18:01:26 ,则会被转化存储类型为低频,若object2的最后修改时间 为2018-08-02 18:01:26,则不会被转化。

2. 指定过期后删除或改变文件的存储类型:

  • 转换为低频存储文件

    可以选择过期日期天数或者不启用,规则配置在一天内生效,比如下午三点启用的规则,将会在第二天0点生效。从转换条件满足,转换操作被触发,KS3需要一段时间才能完成转换操作,这段时间与对象的数量规模有关。

  • 转换为归档存储文件

    可以选择过期日期天数或者不启用,规则配置在一天内生效,比如下午三点启用的规则,将会在第二天0点生效。

注意:

从转换条件满足,转换操作被触发(过期删除同理),KS3需要一段时间才能完成转换操作,这段时间与对象的数量规模有关。

  • 过期删除

    规则配置在一天内生效,比如下午三点启用的规则,将会在第二天0点生效。从删除条件满足,删除行为被触发,KS3需要一段时间才能完成删除操作,这段时间与被删除对象的数量规模有关。

约束和限制

  • 如果配置了转低频规则和转归档规则,会有如下限制:转低频时间或日期+30<=转归档时间或日期。
  • 如果配置了转低频规则和删除规则,会有如下限制:转低频时间或日期<删除时间或日期。
  • 如果配置了转归档规则和删除规则,会有如下限制:转归档时间或日期<删除时间或日期。
  • 如果配置了转低频、转归档和删除规则,会有如下限制:转低频时间或日期+30<=转归档时间或日期<删除文件时间或日期。
  • 如果只配置三条中的一条,则没有任何限制。

费用说明

请求费用

  • 转换Object存储类型产生的请求费用
    按Object源存储类型收取请求费用,即从标准存储类型转换为低频访问存储类型时,按标准存储类型的请求次数收取请求费用。从低频存储类型转换为归档存储类型时,按低频存储类型的请求次数收取请求费用。

  • 删除Object产生的请求费用
    按Object被删除时的存储类型收取请求费用。

存储费用

  • 低频存储最短存储期限为30天,早于30天删除、转换的文件,需要补足未满30天的剩余天数的存储费用,超过30天不需要补。
  • 归档存储最短存储期限为90天,早于90天删除的Object,需要补足未满90天的剩余天数的存储费用,超过90天不需要补。

有关收费标准的详细信息,请参见对象存储KS3详细价格

生命周期规则匹配逻辑

  • 前缀规则生效说明
    只要Object名称前缀和一条规则的前缀匹配,那么该规则就适用于它。例如,一个Bucket有如下几个Object:
    logs/program.log.1
    logs/program.log.2
    logs/program.log.3
    doc/readme.txt
    如果一个规则指定的前缀是logs/,那么该规则就适用于前三个以logs/开头的Object;如果前缀是doc/readme.txt,那么这条规则就只对doc/readme.txt起作用。

  • 规则冲突行为
    若您设置匹配规则,存在某时刻同时满足两种以上不同的执行操作,KS3优先级处理方式为:删除 > 转化为归档 > 转化为低频 。
    举例说明:
    当您配置了如下规则

rule序号 prefix tagging action
rule1 123 a=1 20天后删除
rule2 12345 a=1 20天后转为归档存储
rule3 1233456 a=1 20天后转为低频存储

当满足前缀为123,且拥有a=1的对象会在20天后执行删除操作,此时文件已经不存在,所已规则二、规则三没有意义。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈