最近更新时间:2024-06-28 14:11:05
本文介绍如何开通并授权访问KS3-HDFS服务。
仅北京,俄罗斯地域支持使用KS3-HDFS服务。
仅支持Bucket Owner以及被授予相关访问权限的IAM用户开通并访问KS3-HDFS服务,禁止一切跨账号的访问,包括主账号和子账号。
归档类型Bucket不支持使用KS3-HDFS服务。
归档类型的文件也会被进行加载,未解冻只能进行元数据读取,解冻之后可以进行数据读取。
开启KS3-HDFS服务目录及子目录,任意操作统一视角为HDFS,如直接操作KS3,则认为非正常操作,可能会出现短暂不一致。
进行KS3-HDFS操作需要用户具备相应的权限,下表所示为不同的操作对应需要的权限:
KS3-HDFS操作 | 对应权限 |
---|---|
开通服务 | iam:GetRole |
上传文件 (create) | ks3:PutObject |
获取文件(open) | ks3:GetObject |
列出文件(listStatus) | ks3:ListBucket |
获取文件元数据信息(getStatus) | ks3:ListBucket |
重命名文件(rename) | ks3:PutObject+ks3:DeleteObject |
删除文件/目录(delete) | ks3:DeleteObject |
创建目录(mkdir) | ks3:PutObject |
注:
iam:GetRole权限的中文名称为“查询角色基本信息”,具体配置流程为:IAM平台→策略→自定义策略→可视化配置→访问控制→查询角色基本信息。
主账号默认拥有所有权限,并且可以根据业务需求为子账分配不同的权限。如果想让子账号在控制台只读,至少需要给子账号配置以下权限:
iam:GetRole
、ks3:ListBuckets
、ks3:ListBucket
、ks3:GetObject
、ks3:GetBucketLocation
、ks3:ListBucketMultipartUploads
、ks3:ListMultipartUploadParts
、ks3:GetBucketAcl
、ks3:GetObjectAcl
。如果想让子账号在控制台拥有写权限,需要在以上最小读权限的基础上增加相应的写权限。比如子账号需要拥有上传文件、删除文件的权限,则主账号需要为子账号分配的权限有:
iam:GetRole
、ks3:ListBuckets
、ks3:ListBucket
、ks3:GetObject
、ks3:GetBucketLocation
、ks3:ListBucketMultipartUploads
、ks3:ListMultipartUploadParts
、ks3:GetBucketAcl
、ks3:GetObjectAcl
、ks3:PutObject
、ks3:DeleteObject
。
如需使用KS3-HDFS服务,请提交工单或联系在线客服进行配置。
首次使用KS3-HDFS功能时,需要先进行服务授权,以便KS3服务账号能够管理Bucket中的数据。
1. 登录KS3管理控制台。
2. 点击左侧导航栏的存储空间,然后点击待开通KS3-HDFS服务的Bucket名称。
3. 在左侧导航栏中,点击HDFS服务。
4. 在HDFS服务页面中,点击去授权按钮。
5. 点击同意授权按钮。授权成功后,自动新建默认角色KsyunKS3HDFSDefaultRole,KS3-HDFS服务在应用运行时默认使用此角色来访问用户在KS3中的资源。
服务授权成功后,自动跳转到基本信息页面,该页面可以查看HDFS服务基本信息。包括文件数量、文件存储量、访问信息等。
页面参数说明:
文件数量:开通KS3-HDFS服务的Bucket下全部文件数量。
文件存储量:开通KS3-HDFS服务的Bucket下全部文件存储量。
访问信息:访问KS3-HDFS服务的内网及外网Endpoint。
挂载点配置:用户在KS3-HDFS服务下挂载的KS3路径及对应挂载目录下的所有文件数量、文件存储量信息。
点击顶部存储管理页签,可查看已设置的挂载KS3路径,以及对应的文件数量和文件存储量。可进行挂载路径设置,可批量选择目录进行卸载操作。支持以挂载路径字母序列、文件数量、文件存储量进行排序,默认以文件数量排序。
页面参数说明:
挂载KS3路径:缓存数据将会被加载到挂载的KS3路径下。
文件数量:开通KS3-HDFS服务的Bucket下全部文件数量。
文件存储量:开通KS3-HDFS服务的Bucket下全部文件存储量。
卸载:删除挂载的KS3路径以及该路径下的所有元数据信息。
点击挂载按钮,弹出以下挂载配置页面,根据提示进行填写。
注意:
如不填写挂载路径,将会挂载整个Bucket。挂载后HDFS路径与KS3路径一致,KS3-HDFS将自动加载对应路径下的元数据。
prefix不可重复或包含。例如已经填写bucket/prefix1/prefix2,则不能再添加bucket/prefix1,但可填写bucket/prefix1/prefix3。
点击顶部监控信息页签,可查看指定时间段内元数据数量、总文件大小、写文件操作数、创建目录操作数、删除path操作数、获取文件信息操作数、rename操作数。
监控数据说明:
名称 | 单位 | 说明 |
---|---|---|
元数据数量 | 个 | 指定时间段内元数据目录和文件个数 |
总文件大小 | 最小单位为Byte | 指定时间段内存储的所有元数据大小 |
写文件操作数 | 次/秒 | 指定时间段内用户每秒写文件的次数 |
创建目录操作数 | 次/秒 | 指定时间段内用户每秒创建目录的次数 |
删除path操作数 | 次/秒 | 指定时间段内用户每秒删除path的次数 |
获取文件信息操作数 | 次/秒 | 指定时间段内用户每秒获取文件信息的次数 |
rename操作数 | 次/秒 | 指定时间段内用户每秒rename的次数 |
纯净模式