全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

创建集群

最近更新时间:2024-09-02 15:03:18

KMR集群由若干个节点构成。节点组是由多个节点所组成的一个节点集合,同一个节点组中的节点具有相同的软硬件配置。

节点组类型

节点数量

主要功能

主节点组

采用两个互备节点,当其中一个节点宕机时可以迅速切换到另一个节点

分配并下发任务给核心节点组

核心节点组

默认为3个,可在创建集群时根据需要适当添加,一个集群可以有多个核心节点组,可用来安装不同的集群组件,执行特定的数据任务

执行各种计算任务

Common节点组

部署节点个数必须是单数,最少是3个Common节点,单次扩容步长为2

部署独立分布式协调组件ZooKeeper,保证集群高稳定性,仅创建时支持开启

task节点组

可选是否开启,开启后自主配置,最少由一个task节点构成

补充Core节点CPU和内存计算能力不足

gateway节点组

可选是否开启,开启后自主配置,最少由一个gateway节点构成

用于提交作业

KMR的某些功能依赖于KS3,在创建集群之前,请确认您已经开通KMR和KS3服务,并已经创建AccessKey/SecretKey。
如需使用KS3存放原始数据,参阅数据导入

创建步骤

计费信息

目前KMR支持如下几种计费方式:按量付费(按日月结)、按量付费、包年包月、按日配置付费(试用),请选择适合您的计费方式。

基本信息

image.png


数据中心: 选择KMR集群所在数据中心。(如果需要使用KS3存储数据或绑定EIP,应确保KMR与KS3 bucket或EIP处于同一区域)。

可用区: 选择KMR集群所在可用区。

集群名称: 创建集群时,会根据系统时间戳生成一个默认名称。您也可以为KMR集群输入自定义名称。长度限制为1-25个字符,支持数字、字母、特殊符号(_和-),该名称不必是唯一的。

产品版本: 选择创建KMR集群所用的产品版本,选择不同版本可提供不同的集群基础配置和应用组件,目前支持版本:KMR5.2.1,KMR5.2.0,KMR5.1.0,KMR5.0.0,KMR4.0.0, KMR4.0.1, KMR4.1.0。

版本

必选组件

可选组件

KMR5.2.0

zookeeper(3.4.6)

hdfs(3.1.1)

yam(3.1.1)

mapreduce(3.1.1)

tez(0.9.2)

hbase(2.5.5),zeppelin(0.10.0),hive(3.1.3),ranger(2.3.0),spark(3.3.3),fink(1.17.1),presto(0.283),trino(433),sqoop(1.4.7),kafka(2.8.1),iceberg(1.3.1),hudi(0.12.3),kudu(1.15.0),impala(3.4.0),prometheus(2.37.2),hue(4.10.0),grafana(8.5.15),dolphinscheduler(3.1.9),celeborn(0.5.0)

KMR5.2.0

zookeeper(3.4.6)

hdfs(3.1.1)

yam(3.1.1)

mapreduce(3.1.1)

tez(0.9.2)

hbase(2.5.5),hive(3.1.3),ranger(2.3.0),spark(3.3.3),spark2(2.4.6),fink(1.17.1),presto(0.283),sqoop(1.4.7),hue(4.10.0),zeppelin(0.10.0),kafka(2.8.1),iceberg(1.3.1),hudi(0.12.3),kudu(1.15.0),prometheus(2.37.2),grafana(8.5.15),dolphinscheduler(3.1.9),celeborn(0.4.1),trino(433),oozie(5.2.1),impala(3.4.0)

KMR5.1.0

zookeeper(3.4.6)

hdfs(3.1.1)

yam(3.1.1)

mapreduce(3.1.1)

tez(0.9.2)

hbase(2.4.9),oozie(5.2.1),hive(3.1.0),sqoop(1.4.7),ranger(2.0.0),hue(4.10.0),spark(3.2.0),zeppelin(0.10.0),spark2(2.4.6),kafka(2.8.1),fink(1.12.1),iceberg(1.2.1),flink1(1.14.5),hudi(0.12.3),presto(0.263),kudu(1.15.0),trino(420),impala(3.4.0),prometheus(2.37.2),grafana(8.5.15)

KMR5.0.0

zookeeper(3.4.6)

hdfs(3.1.1)

yam(3.1.1)

mapreduce(3.1.1)

tez(0.9.2)

hue(4.10.0) ,hive(3.1.0) ,ranger(2.0.0), zeppelin(0.10.0), kafka(2.8.1), spark(3.2.0), spark2(2.4.6) ,fink(1.12.1), presto(0.263), oozie(5.2.1) ,iceberg(0.12.1) ,hudi(0.11.0), kudu(1.15.0) ,impala(3.4.0) ,sqoop(1.4.7)

KMR4.0.0

hadoop(2.7.3)

hive(1.1.2),hbase(1.1.2),spark(2.1.0),storm(1.1.0),kafka(0.10.1),hue(4.1.0)

KMR4.0.1

hadoop(2.7.3)

hive(2.1.0),hbase(1.1.2),spark(2.1.0),storm(1.1.0),kafka(0.10.1),hue(4.1.0),presto(0.215),flink(1.7.2)

KMR4.1.0

hadoop(2.7.3)

hive(2.3.4),hbase(1.1.2),spark(2.4.0),storm(1.1.0),kafka(0.10.1),hue(4.1.0),presto(0.215)

必选组件: 默认安装的服务组件,集群创建之后可以在Ambari中管理。

可选组件: 自定义选择安装您需要的组件。

支持IPV6: 选择是否支持IPV6,默认不支持。

SSH密钥(可选): 自定义选择是否绑定密钥。

引导操作: 选择是否配置引导操作,默认不配置。

节点组配置

用户配额: 开通KMR服务时,会为每个账户分配一个资源配额,如果账户中使用的集群资源超过了该配额,则无法创建集群。如有特殊需求,请联系您的客户经理。

Master实例: 主要用于集群管理,运行Hadoop集群中的管理进程,如NameNode、ResourceManager、JobHistory等。此外,它还会存储管理组件LOG信息。Master节点可选择是否开启弹性EIP访问外网,MASTER1-2利用反亲近策略实现集群HA。

Core实例: 主要部署ZooKeeper, DataNode, NodeManager等组件,用来执行存储+计算节点。

Common实例: 开启Common节点后,ZooKeeper部署在Common节点,仅创建时支持开启,大规模场景下建议您开启。

Task实例: 主要用于计算,部署NodeManager,不存储HDFS数据,可横向扩展集群计算资源,TASK节点支持快速扩缩容。

Gateway实例: 客户端节点会自动部署集群服务所需的客户端运行环境,可进行作业提交和自动化调度等工作,同时用户也可以为客户端节点绑定EIP,作为集群的数据传输入口。

网络及其他

image.png

EIP绑定: EIP是绑定在集群Master节点上的公网IP地址,主要用于集群的远程管理和作业提交,带宽为1Mbps。如您有其他需求,或创建完成集群之后要绑定公网EIP,您可去EIP控制台操作。EIP控制台进行的操作,KMR会将EIP状态同步到KMR页面中,状态未同步期间,不影响正常使用。

VPC网络: 您可以使用同一数据中心内任一VPC来创建集群,若该数据中心无VPC,请您去VPC控制台创建,同时创建该VPC下EndPoint子网及与集群同一可用区内VPC子网。

VPC子网: VPC子网是VPC中用于管理云主机的网络单元,您可以使用该VPC下与集群同一可用区内任一VPC子网来创建集群。

EndPoint子网: EndPoint可以在您的VPC和其他金山云服务之间创建私有连接,使用KMR服务必须指定EndPoint。您可以使用该VPC下任一EndPoint子网来创建集群。

SSH密钥(可选): 如果需要通过SSH访问集群,需要点击“绑定密钥”为集群绑定SSH密钥,请参阅SSH密钥管理

元数据高可用(可选): 您可以通过该选项配置常驻集群的高可用元数据库,使用RDS实例元数据库能够提升元数据的可靠性和读写性能。通过选择同一机房的RDS实例,填写RDS实例端口、RDS用户名和RDS密码来配置。

1. 为保障您的数据安全,请您确保储存数据副本

2. 开机时系统将自动为您安装必要的安全及健康状态监控,创建集群及使用过程中请尽量不要安装其他软件以保障集群性能

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈