全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

创建集群

最近更新时间:2025-11-21 19:07:09

本文介绍如何创建KMR on KCE集群。


前提条件

在开始创建集群前,请确保您已完成以下准备工作:

  1. 创建KCE集群:KMR on KCE 需要运行在KCE集群上。请提前创建好一个KCE集群。

  2. 获取访问密钥(AK/SK):准备好您账号的AccessKey和SecretKey。该AK/SK需要具备 KS3:Listbuckets策略权限,以确保能正常列出和访问KS3存储桶。

  3. 创建KS3存储桶(Bucket):创建一个KS3存储桶,用于存放任务文件、作业日志和计算结果。

操作步骤

入口说明

  1. 登录金山云控制台。

  2. 依次导航至 产品​ > 大数据​ > 托管Hadoop​ > KMR on KCE

  3. 在“集群管理”页面,点击 新建集群

基础配置

在此步骤中,您需要完成集群的基本信息设置。

配置项

说明

数据中心

选择集群所在的地理区域,默认为“北京”。

产品版本

选择KMR on KCE的版本,当前支持 1.0.0。

集群类型

选择需要在集群中部署的大数据计算引擎。
Spark:作为通用的分布式计算引擎,提供ETL、批处理与数据建模等核心能力,适用于大规模数据分析。
Flink:作为流处理引擎,提供低延迟、高吞吐的实时数据处理能力,适用于构建实时大数据平台。
注意:支持单选或多选。

集群名称

(必填)​ 为您的集群设置一个名称。
• 长度限制:1-25个字符。
• 支持的字符:大小写字母、数字、减号(-)和下划线(_)。

集群配置

在此步骤中,您需要将集群与底层资源和存储服务进行关联。

配置项

说明

KCE集群

从下拉列表中选择一个您账号下有权限访问的KCE集群。您可以通过点击“刷新”按钮来同步最新的集群列表。

AKSK

输入您在“前提条件”中准备的AccessKey和SecretKey,用于授权KMR on KCE集群访问您的KS3存储桶。

获取AK/SK具体操作请参见获取AK/SK,请确定填写的AK/SK有KS3:Listbuckets策略权限,否则影响bucket正常展示

KS3路径

选择KS3的工作空间路径。请注意:您需要正确填写AK/SK后,系统才能获取并列出您账号下有权限的KS3路径。​ 该路径将用于存储作业相关文件。路径。

资源配置

配置项

说明

命名空间

成功开通服务后,系统将在您所选的KCE集群上自动创建一个独立的命名空间,专门用于运行Spark/Flink等大数据服务组件,实现资源隔离。

专属节点配置

此为关键配置项,用于指定KMR on KCE服务运行的具体工作节点。
• 未选择KCE集群时,【配置专属节点】按钮为禁用状态(置灰)。一旦选择了KCE集群,该按钮变为可用状态。
• 点击【配置专属节点】按钮,您可以选择将服务部署在特定的节点池或具体的节点上,以实现计算资源的精细化管理。

确认并创建

  1. 确认配置:完成所有上述配置项的填写后,请仔细检查各项配置信息是否正确。

  2. 立即创建:确认无误后,点击页面下方的 立即创建​ 按钮。

  3. 集群部署:系统将开始自动部署集群。您可以在“KMR on KCE”的集群列表页面查看创建状态。

  4. 创建完成:当集群状态由“创建中”变为“运行中”时,表示集群已成功创建并准备就绪。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈