全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

产品功能

最近更新时间:2024-06-21 10:47:00

KMR提供了丰富的管理功能和便捷的程序开发接口,使您可以高效自动化的进行数据处理和分析工作,节省管理成本和使用成本:

弹性扩展

KMR集群具备良好的横向扩展能力,您可以根据业务需求弹性的增加或者减少节点,适应多变的业务场景,节省集群使用成本。

集群主节点和元数据高可用

除了基础的服务可用性和数据可靠性保障外,KMR提供了主节点和元数据高可用功能来进一步保证集群持久对外提供服务:

  • 采用两个主节点作为集群管理节点,担当NameNode、ResourceManager、HbaseMaster等角色,当节点宕机时,监控系统会自动发现,由另一节点接管服务,并自动启动新的主节点使集群恢复到稳定状态。
  • 一些集群服务依赖RDBMS作为元数据库,当元数据丢失时,集群无法正常工作,KMR支持使用RDS实例作为元数据库,可以有效的提升元数据的可靠性和读写性能。

标准存储服务(KS3)访问

KMR可以通过内部高速网络直接访问标准存储服务(KS3),在进行数据处理工作时,您可以首先把原始数据汇总到KS3。KMR集群中运行的MapReduce、Hive、Pig、Spark等作业可以直接调用KS3中存储的这些数据进行计算,并把结果写回到KS3。KS3提供了较低使用成本和极高的数据可靠性,并保证在集群释放时仍然可以持久的存储原始数据和计算结果。

Hadoop生态集成

KMR除集成了基础的Hadoop组件外,同时集成了Spark, Hbase, Storm, Kafka, Elasticsearch等生态组件,以及Ambari, Hue等集群监控管理工具,帮助您轻松构建复杂的大数据分析系统,满足批量计算、流式处理、消息队列、交互式查询、NoSQL等多种业务场景的需求。

计算作业管理

KMR可以支持MapReduce, Spark, Pig, Hive等多种计算作业,这些计算可通过可视化管理组件 Hue 的控制面板进行管理,详情请查看Hue使用实践指南

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈