KS3-HDFS服务开通及配置说明

本文介绍如何开通并授权访问KS3-HDFS服务。

使用限制

• 仅北京,俄罗斯地域支持使用KS3-HDFS服务。
• 仅支持Bucket Owner以及被授予相关访问权限的IAM用户开通并访问KS3-HDFS服务，禁止一切跨账号的访问，包括主账号和子账号。
• 深度低频类型及归档类型Bucket不支持使用KS3-HDFS服务。
• 归档类型的文件也会被进行加载，未解冻只能进行元数据读取，解冻之后可以进行数据读取。。
• 开启KS3-HDFS服务目录及子目录，任意操作统一视角为HDFS，如直接操作KS3，则认为非正常操作，可能会出现短暂不一致。

鉴权

进行KS3-HDFS操作需要用户具备相应的权限，下表所示为不同的操作对应需要的权限：

KS3-HDFS操作	对应权限
开通服务	iam:GetRole
上传文件 （create）	ks3:PutObject
获取文件（open）	ks3:GetObject
列出文件（listStatus）	ks3:ListBucket
获取文件元数据信息（getStatus）	ks3:ListBucket
重命名文件（rename）	ks3:PutObject+ks3:DeleteObject
删除文件/目录（delete）	ks3:DeleteObject
创建目录（mkdir）	ks3:PutObject

注：

• iam:GetRole权限的中文名称为“查询角色基本信息”，具体配置流程为：IAM平台→策略→自定义策略→可视化配置→访问控制→查询角色基本信息。
• 主账号默认拥有所有权限，并且可以根据业务需求为子账分配不同的权限。如果想让子账号在控制台只读，至少需要给子账号配置以下权限：iam:GetRole、ks3:ListBuckets、ks3:ListBucket、ks3:GetObject、ks3:GetBucketLocation、ks3:ListBucketMultipartUploads、ks3:ListMultipartUploadParts、ks3:GetBucketAcl、ks3:GetObjectAcl。
• 如果想让子账号在控制台拥有写权限，需要在以上最小读权限的基础上增加相应的写权限。比如子账号需要拥有上传文件、删除文件的权限，则主账号需要为子账号分配的权限有：iam:GetRole、ks3:ListBuckets、ks3:ListBucket、ks3:GetObject、ks3:GetBucketLocation、ks3:ListBucketMultipartUploads、ks3:ListMultipartUploadParts、ks3:GetBucketAcl、ks3:GetObjectAcl、ks3:PutObject、ks3:DeleteObject。

服务授权

如需使用KS3-HDFS服务，请提交工单或联系在线客服进行配置。

首次使用KS3-HDFS功能时，需要先进行服务授权，以便KS3服务账号能够管理Bucket中的数据。

1. 登录KS3管理控制台。

2. 点击左侧导航栏的存储空间，然后点击待开通KS3-HDFS服务的Bucket名称。

3. 在左侧导航栏中，点击HDFS服务。

4. 在HDFS服务页面中，点击去授权按钮。

5. 点击同意授权按钮。授权成功后，自动新建默认角色KsyunKS3HDFSDefaultRole，KS3-HDFS服务在应用运行时默认使用此角色来访问用户在KS3中的资源。

基本信息

服务授权成功后，自动跳转到基本信息页面，该页面可以查看HDFS服务基本信息。包括文件数量、文件存储量、访问信息等。

页面参数说明：

• 文件数量：开通KS3-HDFS服务的Bucket下全部文件数量。
• 文件存储量：开通KS3-HDFS服务的Bucket下全部文件存储量。
• 访问信息：访问KS3-HDFS服务的内网及外网Endpoint。
• 挂载点配置：用户在KS3-HDFS服务下挂载的KS3路径及对应挂载目录下的所有文件数量、文件存储量信息。

存储管理

点击顶部存储管理页签，可查看已设置的挂载KS3路径，以及对应的文件数量和文件存储量。可进行挂载路径设置，可批量选择目录进行卸载操作。支持以挂载路径字母序列、文件数量、文件存储量进行排序，默认以文件数量排序。

页面参数说明：

• 挂载KS3路径：缓存数据将会被加载到挂载的KS3路径下。
• 文件数量：开通KS3-HDFS服务的Bucket下全部文件数量。
• 文件存储量：开通KS3-HDFS服务的Bucket下全部文件存储量。
• 卸载：删除挂载的KS3路径以及该路径下的所有元数据信息。

点击挂载按钮，弹出以下挂载配置页面，根据提示进行填写。

注意：

• 如不填写挂载路径，将会挂载整个Bucket。挂载后HDFS路径与KS3路径一致，KS3-HDFS将自动加载对应路径下的元数据。
• prefix不可重复或包含。例如已经填写bucket/prefix1/prefix2，则不能再添加bucket/prefix1，但可填写bucket/prefix1/prefix3。

监控信息

点击顶部监控信息页签，可查看指定时间段内元数据数量、总文件大小、写文件操作数、创建目录操作数、删除path操作数、获取文件信息操作数、rename操作数。

监控数据说明：

名称	单位	说明
元数据数量	个	指定时间段内元数据目录和文件个数
总文件大小	最小单位为Byte	指定时间段内存储的所有元数据大小
写文件操作数	次/秒	指定时间段内用户每秒写文件的次数
创建目录操作数	次/秒	指定时间段内用户每秒创建目录的次数
删除path操作数	次/秒	指定时间段内用户每秒删除path的次数
获取文件信息操作数	次/秒	指定时间段内用户每秒获取文件信息的次数
rename操作数	次/秒	指定时间段内用户每秒rename的次数