集群创建

最近更新时间:2018-06-12 20:39:36

集群创建

KMR集群由若干个节点组构成。节点组是由多个节点所组成的一个节点集合,同一个节点组中的节点具有相同的软硬件配置。

节点组类型 节点数量 主要功能
主节点组 采用两个互备节点,当其中一个节点宕机时可以迅速切换到另一个节点 分配并下发任务给核心节点组
核心节点组 默认为3个,可在集群创建时根据需要适当添加,一个集群可以有多个核心节点组,可用用来安装不同的集群组件,执行特定的数据处理任务。 执行各种计算任务
客户端节点组 可选配置,最少由一个客户端节点构成 用于提交作业

  KMR的某些功能依赖于KS3,在创建集群之前,请确认您已经开通KMR和KS3服务,并已经创建AccessKey/SecretKey。

  如需使用KS3存放原始数据,参阅 数据导入

创建步骤

  1. 在金山云控制台 “身份与管理” → "设置“ → "AK 密钥管理” 中查看是否已经创建密钥,请至少保证存在一对密钥

  miyao.png

  2. 在金山云控制台 “网络” → "虚拟私有网络" → "NAT" 中查看是否创建了NAT,若没有,请创建一个NAT并确保此 NAT 创建在后续 KMR 集群所在的 VPC 中

  vpc.png

  3. 登录金山云控制台,选择数据分析->托管Hadoop

  4. 选择“集群管理”,点击“新建集群”按钮,进入集群创建向导

  5. 填写以下内容完成集群创建:

基本信息

软件与节点配置

网络设置与其他

  

基本信息


集群类型 :KMR常驻集群具有很高的可用性,集成了丰富的Hadoop生态组件,适合流计算、实时数据查询或者较为复杂的数据分析场景

集群名称 :创建集群时,会根据系统时间戳生成一个默认名称。您也可以为KMR集群输入描述性名称。长度限制为1-25个字符,支持数字、字母、特殊符号(_和-),该名称不必是唯一的

数据中心 :选择KMR集群所在数据中心。(如果需要使用KS3存储数据,应确保KMR与KS3 bucket 处于同一区域)

计费方式 :KMR计费可选择按日月结计费方式;若用户在试用期内,创建集群可选择免费试用类型,详见 KMR产品定价与选购

  

软件与节点配置


产品版本 :选择创建KMR集群所用的产品版本,选择不同版本可提供不同的集群基础配置和应用组件,目前有 KMR 2.0.0 、 KMR 3.0.0、KMR 4.0.0 三个版本可选

应用程序 :选择KMR集群中需要安装的Hadoop周边生态应用,也可以将一些特殊的应用(如Kafka)部署到独立的节点组中

用户配额 :开通KMR服务时,会为每个账户分配一个资源配额,如果账户中使用的集群资源超过了该配额,则无法创建集群。如有特殊需求,请联系您的客户经理

主节点(组):主要用于集群管理,并将计算程序和原始数据集分配到核心实例。此外,它还会跟踪每个计算作业的执行状态,监控实例的运行状况。KMR主节点与Hadoop系统的主节点相对应。通常集群具有主、备两个主节点

核心节点(组):主要用于执行各项集群计算作业,同时作为hadoop分布式文件系统的数据节点存储数据。KMR核心节点与Hadoop系统的slave节点相对应

客户端节点(组):非必须节点类型,一般用于提交任务作业,也可用于执行各项集群计算作业,不作为分布式文件系统(HDFS)的数据存储节点,相对于核心节点,具有更大的灵活性

节点配置 :可根据实际的业务需求选择集群节点数量和类型,详见 KMR产品定价与选购

  

网络设置与其他


EIP绑定:EIP是绑定在集群Master节点上的公网IP地址,主要用于集群的远程管理和作业提交,带宽为1Mbps,暂时无法调节

VPC网络:您可以使用默认VPC来创建KMR集群,也可以选择自定义VPC

VPC子网 :VPC子网是VPC中用于管理云主机的网络单元,您可以使用默认VPC子网,也可以选择自定义子网。如果使用自定义VPC,请确认VPC中已创建可用的VPC子网

EndPoint子网 :EndPoint可以在您的VPC和其他金山云服务之间创建私有连接,使用KMR服务必须指定EndPoint。 如果使用自定义VPC,请确认VPC中已创建可用的EndPoint

SSH密钥(可选) :如果需要通过SSH访问集群,需要点击“绑定密钥”为集群绑定SSH密钥,请参阅SSH密钥管理

元数据高可用(可选) :您可以通过该选项配置常驻集群的高可用元数据库,使用RDS实例元数据库能够提升元数据的可靠性和读写性能。通过选择同一机房的RDS实例,填写RDS实例端口、RDS用户名和RDS密码来配置

金山云开启您的云计算之旅

立即注册