全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

创建集群

最近更新时间:2023-08-28 17:20:59

KMR集群由若干个节点构成。节点组是由多个节点所组成的一个节点集合,同一个节点组中的节点具有相同的软硬件配置。

节点组类型 节点数量 主要功能
主节点组 采用两个互备节点,当其中一个节点宕机时可以迅速切换到另一个节点 分配并下发任务给核心节点组
核心节点组 默认为3个,可在创建集群时根据需要适当添加,一个集群可以有多个核心节点组,可用来安装不同的集群组件,执行特定的数据任务 执行各种计算任务
Common节点组 部署节点个数必须是单数,最少是3个Common节点,单次扩容步长为2 部署独立分布式协调组件ZooKeeper,保证集群高稳定性,仅创建时支持开启
task节点组 可选是否开启,开启后自主配置,最少由一个task节点构成 补充Core节点CPU和内存计算能力不足
gateway节点组 可选是否开启,开启后自主配置,最少由一个gateway节点构成 用于提交作业

KMR的某些功能依赖于KS3,在创建集群之前,请确认您已经开通KMR和KS3服务,并已经创建AccessKey/SecretKey。
如需使用KS3存放原始数据,参阅数据导入

创建步骤

计费信息

目前KMR支持如下几种计费方式:按量付费(按日月结)、按量付费、包年包月、按日配置付费(试用),请选择适合您的计费方式。

基本信息

image.png
数据中心: 选择KMR集群所在数据中心。(如果需要使用KS3存储数据或绑定EIP,应确保KMR与KS3 bucket或EIP处于同一区域)。

可用区: 选择KMR集群所在可用区。

集群名称: 创建集群时,会根据系统时间戳生成一个默认名称。您也可以为KMR集群输入自定义名称。长度限制为1-25个字符,支持数字、字母、特殊符号(_和-),该名称不必是唯一的。

产品版本: 选择创建KMR集群所用的产品版本,选择不同版本可提供不同的集群基础配置和应用组件,目前支持版本:KMR4.0.0, KMR4.0.1, KMR4.1.0。

版本 必选组件 可选组件
KMR4.0.0 hadoop(2.7.3) hive(1.1.2),hbase(1.1.2),spark(2.1.0),storm(1.1.0),kafka(0.10.1),hue(4.1.0)
KMR4.0.1 hadoop(2.7.3) hive(2.1.0),hbase(1.1.2),spark(2.1.0),storm(1.1.0),kafka(0.10.1),hue(4.1.0),presto(0.215),flink(1.7.2)
KMR4.1.0 hadoop(2.7.3) hive(2.3.4),hbase(1.1.2),spark(2.4.0),storm(1.1.0),kafka(0.10.1),hue(4.1.0),presto(0.215)

必选组件: 默认安装的服务组件,集群创建之后可以在Ambari中管理。

可选组件: 自定义选择安装您需要的组件。

支持IPV6: 选择是否支持IPV6,默认不支持。

SSH密钥(可选): 自定义选择是否绑定密钥。

引导操作: 选择是否配置引导操作,默认不配置。

节点组配置

用户配额: 开通KMR服务时,会为每个账户分配一个资源配额,如果账户中使用的集群资源超过了该配额,则无法创建集群。如有特殊需求,请联系您的客户经理。

Master实例: 主要用于集群管理,运行Hadoop集群中的管理进程,如NameNode、ResourceManager、JobHistory等。此外,它还会存储管理组件LOG信息。Master节点可选择是否开启弹性EIP访问外网,MASTER1-2利用反亲近策略实现集群HA。

Core实例: 主要部署ZooKeeper, DataNode, NodeManager等组件,用来执行存储+计算节点。

Common实例: 开启Common节点后,ZooKeeper部署在Common节点,仅创建时支持开启,大规模场景下建议您开启

Task实例: 主要用于计算,部署NodeManager,不存储HDFS数据,可横向扩展集群计算资源,TASK节点支持快速扩缩容。

Gateway实例: 客户端节点会自动部署集群服务所需的客户端运行环境,可进行作业提交和自动化调度等工作,同时用户也可以为客户端节点绑定EIP,作为集群的数据传输入口。

网络及其他

image.png

EIP绑定: EIP是绑定在集群Master节点上的公网IP地址,主要用于集群的远程管理和作业提交,带宽为1Mbps。如您有其他需求,或创建完成集群之后要绑定公网EIP,您可去EIP控制台操作。EIP控制台进行的操作,KMR会将EIP状态同步到KMR页面中,状态未同步期间,不影响正常使用。

VPC网络: 您可以使用同一数据中心内任一VPC来创建集群,若该数据中心无VPC,请您去VPC控制台创建,同时创建该VPC下EndPoint子网及与集群同一可用区内VPC子网。

VPC子网: VPC子网是VPC中用于管理云主机的网络单元,您可以使用该VPC下与集群同一可用区内任一VPC子网来创建集群。

EndPoint子网: EndPoint可以在您的VPC和其他金山云服务之间创建私有连接,使用KMR服务必须指定EndPoint。您可以使用该VPC下任一EndPoint子网来创建集群。

SSH密钥(可选): 如果需要通过SSH访问集群,需要点击“绑定密钥”为集群绑定SSH密钥,请参阅SSH密钥管理

元数据高可用(可选): 您可以通过该选项配置常驻集群的高可用元数据库,使用RDS实例元数据库能够提升元数据的可靠性和读写性能。通过选择同一机房的RDS实例,填写RDS实例端口、RDS用户名和RDS密码来配置。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈