全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

KS3-HDFS服务开通及配置说明

最近更新时间:2024-06-28 14:11:05

本文介绍如何开通并授权访问KS3-HDFS服务。

使用限制

  • 仅北京,俄罗斯地域支持使用KS3-HDFS服务。

  • 仅支持Bucket Owner以及被授予相关访问权限的IAM用户开通并访问KS3-HDFS服务,禁止一切跨账号的访问,包括主账号和子账号。

  • 归档类型Bucket不支持使用KS3-HDFS服务。

  • 归档类型的文件也会被进行加载,未解冻只能进行元数据读取,解冻之后可以进行数据读取。

  • 开启KS3-HDFS服务目录及子目录,任意操作统一视角为HDFS,如直接操作KS3,则认为非正常操作,可能会出现短暂不一致。

鉴权

进行KS3-HDFS操作需要用户具备相应的权限,下表所示为不同的操作对应需要的权限:

KS3-HDFS操作

对应权限

开通服务

iam:GetRole

上传文件 (create)

ks3:PutObject

获取文件(open)

ks3:GetObject

列出文件(listStatus)

ks3:ListBucket

获取文件元数据信息(getStatus)

ks3:ListBucket

重命名文件(rename)

ks3:PutObject+ks3:DeleteObject

删除文件/目录(delete)

ks3:DeleteObject

创建目录(mkdir)

ks3:PutObject

注:

  • iam:GetRole权限的中文名称为“查询角色基本信息”,具体配置流程为:IAM平台→策略→自定义策略→可视化配置→访问控制→查询角色基本信息。

  • 主账号默认拥有所有权限,并且可以根据业务需求为子账分配不同的权限。如果想让子账号在控制台只读,至少需要给子账号配置以下权限:iam:GetRoleks3:ListBucketsks3:ListBucketks3:GetObjectks3:GetBucketLocationks3:ListBucketMultipartUploadsks3:ListMultipartUploadPartsks3:GetBucketAclks3:GetObjectAcl

  • 如果想让子账号在控制台拥有写权限,需要在以上最小读权限的基础上增加相应的写权限。比如子账号需要拥有上传文件、删除文件的权限,则主账号需要为子账号分配的权限有:iam:GetRoleks3:ListBucketsks3:ListBucketks3:GetObjectks3:GetBucketLocationks3:ListBucketMultipartUploadsks3:ListMultipartUploadPartsks3:GetBucketAclks3:GetObjectAclks3:PutObjectks3:DeleteObject

服务授权

如需使用KS3-HDFS服务,请提交工单或联系在线客服进行配置。

首次使用KS3-HDFS功能时,需要先进行服务授权,以便KS3服务账号能够管理Bucket中的数据。

1. 登录KS3管理控制台

2. 点击左侧导航栏的存储空间,然后点击待开通KS3-HDFS服务的Bucket名称。

3. 在左侧导航栏中,点击HDFS服务

4. 在HDFS服务页面中,点击去授权按钮。

5. 点击同意授权按钮。授权成功后,自动新建默认角色KsyunKS3HDFSDefaultRole,KS3-HDFS服务在应用运行时默认使用此角色来访问用户在KS3中的资源。

基本信息

服务授权成功后,自动跳转到基本信息页面,该页面可以查看HDFS服务基本信息。包括文件数量、文件存储量、访问信息等。

页面参数说明:

  • 文件数量:开通KS3-HDFS服务的Bucket下全部文件数量。

  • 文件存储量:开通KS3-HDFS服务的Bucket下全部文件存储量。

  • 访问信息:访问KS3-HDFS服务的内网及外网Endpoint。

  • 挂载点配置:用户在KS3-HDFS服务下挂载的KS3路径及对应挂载目录下的所有文件数量、文件存储量信息。

存储管理

点击顶部存储管理页签,可查看已设置的挂载KS3路径,以及对应的文件数量和文件存储量。可进行挂载路径设置,可批量选择目录进行卸载操作。支持以挂载路径字母序列、文件数量、文件存储量进行排序,默认以文件数量排序。

页面参数说明:

  • 挂载KS3路径:缓存数据将会被加载到挂载的KS3路径下。

  • 文件数量:开通KS3-HDFS服务的Bucket下全部文件数量。

  • 文件存储量:开通KS3-HDFS服务的Bucket下全部文件存储量。

  • 卸载:删除挂载的KS3路径以及该路径下的所有元数据信息。

点击挂载按钮,弹出以下挂载配置页面,根据提示进行填写。

注意:

  • 如不填写挂载路径,将会挂载整个Bucket。挂载后HDFS路径与KS3路径一致,KS3-HDFS将自动加载对应路径下的元数据。

  • prefix不可重复或包含。例如已经填写bucket/prefix1/prefix2,则不能再添加bucket/prefix1,但可填写bucket/prefix1/prefix3。

监控信息

点击顶部监控信息页签,可查看指定时间段内元数据数量、总文件大小、写文件操作数、创建目录操作数、删除path操作数、获取文件信息操作数、rename操作数。

监控数据说明:

名称

单位

说明

元数据数量

指定时间段内元数据目录和文件个数

总文件大小

最小单位为Byte

指定时间段内存储的所有元数据大小

写文件操作数

次/秒

指定时间段内用户每秒写文件的次数

创建目录操作数

次/秒

指定时间段内用户每秒创建目录的次数

删除path操作数

次/秒

指定时间段内用户每秒删除path的次数

获取文件信息操作数

次/秒

指定时间段内用户每秒获取文件信息的次数

rename操作数

次/秒

指定时间段内用户每秒rename的次数

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈