步骤二:创建KMR集群

最近更新时间:2019-11-25 16:11:55

KMR集群由若干个节点构成。节点组是由多个节点所组成的一个节点集合,同一个节点组中的节点具有相同的软硬件配置。

节点组类型 节点数量 主要功能
主节点组 采用两个互备节点,当其中一个节点宕机时可以迅速切换到另一个节点 分配并下发任务给核心节点组
核心节点组 默认为3个,可在创建集群时根据需要适当添加,一个集群可以有多个核心节点组,可用来安装不同的集群组件,执行特定的数据任务 执行各种计算任务
task节点组 可选是否开启,开启后自主配置,最少由一个task节点构成 补充Core节点CPU和内存计算能力不足
gateway节点组 可选是否开启,开启后自主配置,最少由一个task节点构成 用于提交作业

KMR的某些功能依赖于KS3,在创建集群之前,请确认您已经开通KMR和KS3服务,并已经创建AccessKey/SecretKey。 如需使用KS3存放原始数据,参阅数据导入

创建步骤

计费信息

目前KMR支持两种计费方式:按小时配置实时付费、按日月结,请选择适合您的计费方式

基本信息

image.png
集群名称:创建集群时,会根据系统时间戳生成一个默认名称。您也可以为KMR集群输入自定义名称。长度限制为1-25个字符,支持数字、字母、特殊符号(_和-),该名称不必是唯一的。
数据中心:选择KMR集群所在数据中心。(如果需要使用KS3存储数据或绑定EIP,应确保KMR与KS3 bucket或EIP处于同一区域)
可用区:选择KMR集群所在可用区。
产品版本:选择创建KMR集群所用的产品版本,选择不同版本可提供不同的集群基础配置和应用组件,目前支持版本:KMR3.0.0、KMR4.0.0两个版本。建议使用KMR4.0.0。
必选组件:默认安装的服务组件,集群创建之后可以在Ambari中管理
可选组件:自定义选择安装您需要的组件

节点组配置

image.png
用户配额:开通KMR服务时,会为每个账户分配一个资源配额,如果账户中使用的集群资源超过了该配额,则无法创建集群。如有特殊需求,请联系您的客户经理。
Master实例:主要用于集群管理,运行Hadoop集群中的管理进程,如namenode、resource manager、jobhistory等。此外,它还会存储管理组件LOG信息。Master节点可选择是否开启弹性EIP访问外网,MASTER1-2利用反亲近策略实现集群HA。Master实例不支持大数据型主机。
Core实例:主要部署ZOOKEEPER,Datanode,NodeManager等组件,用来执行存储+计算节点。
Task实例:主要用于计算,部署NodeManager,不存储HDFS数据,可横向扩展集群计算资源,TASK节点支持快速扩缩容。
Gateway实例:客户端节点会自动部署集群服务所需的客户端运行环境,可进行作业提交和自动化调度等工作,同时用户也可以为客户端节点绑定EIP,作为集群的数据传输入口。

网络及其他

EIP绑定:EIP是绑定在集群Master节点上的公网IP地址,主要用于集群的远程管理和作业提交,带宽为1Mbps。如您有其他需求,或创建完成集群之后要绑定公网EIP,您可去EIP控制台操作。EIP控制台进行的操作,KMR在多长时间内会将EIP状态同步到KMR页面中,状态未同步期间,不影响正常使用。
VPC网络:您可以使用同一数据中心内任一VPC来创建集群,若该数据中心无VPC,请您去VPC控制台创建,同时创建该VPC下EndPoint子网及与集群同一可用区内VPC子网。
VPC子网:VPC子网是VPC中用于管理云主机的网络单元,您可以使用该VPC下与集群同一可用区内任一VPC子网来创建集群。
EndPoint子网:EndPoint可以在您的VPC和其他金山云服务之间创建私有连接,使用KMR服务必须指定EndPoint。您可以使用该VPC下任一EndPoint子网来创建集群。
SSH密钥(可选):如果需要通过SSH访问集群,需要点击“绑定密钥”为集群绑定SSH密钥,请参阅SSH密钥管理
元数据高可用(可选):您可以通过该选项配置常驻集群的高可用元数据库,使用RDS实例元数据库能够提升元数据的可靠性和读写性能。通过选择同一机房的RDS实例,填写RDS实例端口、RDS用户名和RDS密码来配置

金山云,开启您的云计算之旅

注册有礼