最近更新时间:2023-04-13 10:37:49
KS3提供同步镜像回源功能,用于数据无缝迁移到KS3的场景,在迁移数据的同时,同时保证业务的正常进行。 当用户向KS3请求的文件不存在时,KS3会向回源地址请求这个文件,返回给用户。对于完整文件的请求,KS3会同时请求所有数据返回给用户,并将该文件存入KS3;对于Range请求,KS3会同时请求部分数据返回给用户,然后异步拉取数据存储至KS3。
您最多可以配置20条回源规则,系统将按照规则顺序依次执行。
KS3镜像回源单个文件最大支持50GB。
该功能目前支持北京、青岛、上海地区。
使用该功能需相应的权限,可联系商务或提交工单申请权限。
特别说明:
拉取到KS3的数据默认以标准存储类型存储。
拉取到KS3的文件不支持用KS3提供的设置文件名功能来修改文件名。
源站拉取完成后,KS3不感知源站的文件变化。
若用户设置了原图保护,在同步回源时失效。
若用户设置了文件服务端加密/客户端传输密钥加密,在同步回源时失效。
支持控制台和API两种操作方式: | 操作方式 | 参考文档 |
---|---|---|
控制台 | 控制台使用手册-镜像 | |
API |
|
同步镜像回源流程
当您的客户向Bucket请求的某个Object不存在时,KS3会向回源地址请求这个Object,并且,为了避免等待整个文件需要较长时间,KS3会向源站流式拉取部分数据 ,源站返回数据后,KS3返回给用户,并且存在对应Bucket中。具体流程如下图所示。
1.完整文件请求流程
2.部分(range)文件请求流程:
1.同步回源规则触发条件
当客户端Get Object请求的文件不存在时,且用户配置了该文件的同步镜像回源规则,并且该文件满足规则时,触发同步镜像回源。
2.请求失败返回规则
3.同步回源文件更新规则
如果文件通过镜像回源,存储到了KS3中,之后源站里该文件发生了变化,KS3不会更新已存在于KS3上的该文件。
4.同步回源文件元信息
Content-Type
Content-Disposition
Cache-Control
Expires
5. HTTP请求规则
传给KS3的Header信息不会传递给源站,QueryString信息是否会传递给源站取决于控制台回源规则中的配置。Header传递规则控制台输入显示参见控制台使用手册-镜像回源。
如果源站是chunked编码返回,那么KS3首次回源时返回给用户的也是chunked编码。
当客户存在多条规则且回源条件相同与部分重叠时:
规则一:回源条件全部文件404时回test.com
。
规则二:回源条件全部文件404时回141.0.0.12
。
规则三:回源条件文件名前缀为333的文件404时回back.com
。
KS3的处理说明:
1.请求优先匹配到规则一,同时test.com可以正常拉取数据,则不再匹配规则二。
2.请求优先匹配到规则一,但是KS3回源服务前往 test.com时,该源站不可用,则KS3再去前往规则二配置的141.0.0.12站点。
3.若规则二配置的141.0.0.12也恰巧不可用时,如果文件名符合前缀为333,则KS3继续前往规则三配置back.com
;如果文件名前缀不是333,则KS3给用户返回404。
纯净模式