最近更新时间:2024-09-18 17:00:50
在KS3中存储的文件一般会经过新建、使用、归档和删除等一系列生命周期过程。文件新建后通常会被频繁访问,随后访问次数逐渐变少,最终会被删除。面对大规模的数据,如果用户手工去维护数据的生命周期,会浪费很多时间人力成本。但如果不去维护,文件始终作为标准存储类型存放会不断产生费用。KS3提供生命周期管理帮助用户自动批量完成数据生命周期管理,实现数据从创建到归档到删除的自动流程,从而节约人力和金钱成本。
生命周期管理的适用具体场景主要有:
日志记录管理:可对周期性上传的日志数据设置生命周期,使日志数据定期归档和过期删除。
低频访问文档管理:对于在一段时间内经常访问,但是超过一定时间后访问频率非常低的文档,可以设置生命周期,在一定时间后自动转化为低频存储,归档存储或者删除。
存档文件管理:金融数据、医疗记录、媒体数据、数据库备份数据等常常需要长期保存,使用生命周期功能对历史版本的文件进行管理。
批量删除大规模数据:手动删除对象有数量限制,在桶中配置一条生命周期管理规则,设置定时删除所有文件即可实现批量删除大规模数据。
API访问文档:PUT Bucket LifeCycle。
请求费用
转换Object存储类型产生的请求费用。
按Object源存储类型收取请求费用,即从标准存储类型转换为低频访问存储类型时,按标准存储类型的请求次数收取请求费用。从低频存储类型转换为归档存储类型时,按低频存储类型的请求次数收取请求费用。
删除Object产生的请求费用
按Object被删除时的存储类型收取请求费用。
存储费用
低频存储最短存储期限为30天,早于30天删除、转换的文件,需要补足未满30天的剩余天数的存储费用,超过30天不需要补。
归档存储最短存储期限为90天,早于90天删除的Object,需要补足未满90天的剩余天数的存储费用,超过90天不需要补。
有关收费标准的详细信息,请参见对象存储KS3详细价格。
KS3支持在特定时间点或对象最后一次被修改后的一段时间,进行批量删除对象或者批量转换对象的存储类型。为实现此目的,用户需要在存储空间上创建生命周期管理规则。
1. 每个存储空间最多可以创建1000条规则。
2. 用户在2017年4月12日之前上传的文件不支持存储类型转换和过期删除。
登录KS3控制台,点击左侧导航栏存储空间,进入存储空间列表页。
点击需要设置生命周期的存储空间,点击空间设置 > 生命周期。
点击添加规则,在对话页中进行规则设置,配置项说明如下所示。
(1)状态 : 可设置规则设置的状态为启用或停用。
(2)策略:可选择按前缀匹配或配置到整个bucket。
如果规则设置到整个bucket上,那么该bucket下所有对象都适用于该规则。
如果规则设置为某个前缀,那么该bucket下只有匹配该前缀的Object才适用这个规则。
(3)标签 : 可针对有特定标签的Object,配置生命周期规则,配置时需要先勾选单选框激活KEY、VALUE输入框,之后输入相应的键、值,支持设置多个标签。
(4)过期策略:
如果指定过期天数,那么从object最后一次被修改当天算起,指定天数之后,数据将进行指定的删除或者转化存储类型操作。
如果指定过期日期,那么Object最后修改时间在指定日期之前的对象会被执行操作。
1. 过期日期:如果指定的过期日期是过去的日期,该规则在成功配置的次日0点将会开始生效;如果指定的过期日期是未来日期,该规则在到达该日期的次日0点才会开始生效。全部操作完成时间与对象的数量规模有关,建议客户在开始生效的次日观察生效情况。
2. 过期天数:该规则在成功配置的次日0点将会开始生效。全部操作完成时间与对象的数量规模有关,建议客户在开始生效的次日观察生效情况。
(5)点击确定,完成生命周期配置。
KS3支持是否开启允许前缀重叠功能,如果客户开启允许前缀重叠,KS3将允许客户设置前缀重叠的规则;如果客户没有开启允许前缀重叠,且规则中没有设置Tag标签,客户设置前缀重叠的规则将会报错;如果客户没有开启允许前缀重叠,但规则中设置了Tag标签,KS3也将允许客户设置前缀重叠的规则。
编辑、删除、停用及启动规则
(1)点击空间设置 > 生命周期。
(2)在规则列表右侧点击相应的按钮即可进行编辑规则、删除、停用和启用规则的操作。
生命周期支持以下匹配方式:
匹配方式 | 描述 |
---|---|
按前缀匹配 |
|
配置到整个Bucket | 匹配整个Bucket内的所有Object和碎片。如果未开启允许前缀重叠功能,此种方式只能创建一条规则。 |
按标签匹配 |
|
按前缀+标签匹配 | 按指定前缀和一个或多个标签的筛选条件匹配对象。 |
示例:一个Bucket有如下几个Object:
pics/dog.gif
pics/cat.gif
pics/bird.gif
docs/readme.txt
如果一个规则指定的前缀是pics/
,那么该规则就适用于前三个以pics/
开头的Object;如果规则指定的前缀是docs/readme.txt,那么这条规则就只对docs/readme.txt起作用。
如下所示为不同过期策略及操作对应的描述:
过期策略 | 描述 |
---|---|
指定过期天数或者过期日期 |
示例:设置对桶内所有对象过期天数为3天后执行删除操作,若Object1最后修改时间为2018-08-01 18:01:26 ,那么3天后,也就是2018-08-05 00:00:00,对象将被删除;若Object2最后修改时间为2018-08-03 18:01:26 ,那么3天后,也就是2018-08-07 00:00:00,对象将被删除。
示例:用户设置过期日期为2018-01-01T00:00:00.000Z,对所有对象执行转化低频存储类型操作,若Object1的最后修改时间 为2017-08-01 18:01:26 ,则会被转化存储类型为低频,若Object2的最后修改时间 为2018-08-02 18:01:26,则不会被转化。注意如果设置的过期日期为未来日期,要等到达该日期的次日0点规则才会开始生效。 |
指定过期后删除或改变文件的存储类型 |
可以选择过期日期/过期天数/不开启,规则配置将在次日0点开始生效,比如下午3点启用的规则,将会在第二天0点开始生效,全部操作完成时间与对象的数量规模有关,建议客户第三天观察生效情况。
可以选择过期日期/过期天数/不开启,规则配置将在次日0点开始生效,比如下午3点启用的规则,将会在第二天0点开始生效,全部操作完成时间与对象的数量规模有关,建议客户第三天观察生效情况。
可以选择过期日期/过期天数/不开启,规则配置将在次日0点开始生效,比如下午3点启用的规则,将会在第二天0点开始生效,全部操作完成时间与对象的数量规模有关,建议客户第三天观察生效情况。 |
只要Object名称前缀和一条规则的前缀匹配,那么该规则就适用于它。例如,一个Bucket有如下几个Object:
logs/program.log.1
logs/program.log.2
logs/program.log.3
doc/readme.txt
如果一个规则指定的前缀是logs/
,那么该规则就适用于前三个以logs/
开头的Object;如果前缀是doc/readme.txt
,那么这条规则就只对doc/readme.txt
起作用。
当客户开启了允许前缀重叠时,同一个Object可能符合多个规则,KS3将遵循按时间先后顺序及成本最小原则生效。
场景 | 生效原则 | 示例 |
---|---|---|
规则生效时间点不一致 | 按时间先后顺序执行 |
|
规则生效时间点一致,但执行不同的操作 | 按照成本最小原则生效,规则生效优先级为:删除 > 转化为归档 > 转化为低频 |
|
规则 | 限制 |
---|---|
单个规则同时配置了转低频和转归档 | 转低频时间或日期+30<=转归档时间或日期 |
单个规则同时配置了转低频和删除 | 转低频时间或日期<删除时间或日期 |
单个规则同时配置了转归档和删除 | 转归档时间或日期<删除时间或日期 |
单个规则同时配置了转低频、转归档和删除 | 转低频时间或日期+30<=转归档时间或日期<删除文件时间或日期 |
纯净模式