应用组件和管理端口列表

最近更新时间:2018-11-15 17:21:34

环境相关信息

语言版本

语言名称 版本 备注
java 1.8.0_101
python 2.7.5

KMR 4.0 各大数据组件版本

大数据组件名称 版本 说明 标准支持
Hadoop 2.7.3 大数据的计算和存储引擎,包括HDFS、MapReduce
HDFS 2.7.3 分布式文件存储
YARN 2.7.1 Hadoop 资源管理器
Spark 2.1.0 大规模数据处理通用计算引擎
ZooKeeper 3.4.6.2.4 Hadoop集群一致性管理工具
Hive 2.1.0 类SQL查询数据库
Hbase 1.1.2 分布式KV数据库
Storm 1.1.0 流式处理工具
Kafka 0.10.1 流式数据处理工具
Ranger 0.5.0.2.4 授权工具
Elasticsearch 5.6.3 用于搜索的KV数据库
Kibana 5.6.3 es的可视化工具
Hue 4.1.0 大数据开发工作台
Ambari 2.2.2.0-460 大数据集群部署管理工具
oozie 4.1.0 工作流执行工具
Kerberos 1.2.0 集群访问认证工具
Flume 1.52 日志收集工具
Phoenix 4.14.0 Hbase的SQL层
tez 0.7.0 新一代hadoop分布式计算框架
kafka Manager 0.8.2 Kafka管理工具
Sqoop 1.4.6 Mysql同步工具

:标准支持的组件可以通过集群管理界面自动安装,非标准支持的组件需要Ambari的admin权限手动进行安装。

主节点:

服务名称 端口 URL 路径 协议 备注
Ambari Web UI 8080 / HTTP 查看ambari的web UI
Ambari REST API 8080 /api/v1 HTTP ambari的REST API
YARN RResource Manager Web UI 8088 HTTP Resource Manager 的 Web UI
YARN RResource Manager Web UI 8090 HTTPS Resource Manager 的 Web UI
YARN Resource Manager 管理界面 8141 IPC 用于应用程序提交(Hive、Hive 服务器、Pig 等)
YARN Resource Manager 计划程序 8030 HTTP 管理界面
YARN Resource Manager 应用程序界面 8050 HTTP 应用程序管理器界面的地址
YARN HistoryServer 19888
YARN Timeline 地址 10200 RPC Timeline 服务 RPC 服务
YARN Timeline Web UI 8181 HTTP Timeline 服务 Web UI
HDFS Namenode 50070
HDFS Namenode Web UI 30070 HTTPS 用于查看状态的 Web UI
HDFS Namenode 元数据服务 8020 IPC 文件系统元数据
HDFS Secondery namenode 50090 HTTP NameNode 元数据检查点
MapReduce JobHistory 19888 HTTP MapReduce JobHistory Web UI
MapReduce JobHistory 10020 HTTP MapReduce JobHistory 服务器
MapReduce ShuffleHandler 13562 HTTP 将中间映射输出传输到请求reducer
OOZIE 服务器 11000 HTTP Oozie 服务的 URL
OOZIE 服务器 11001 HTTP Oozie 管理端口
Spark History Server 18081
Spark History Server 10016 Thrift 用于连接到 Spark SQL 的服务 (Thrift/JDBC)
Spark Livy 服务器 8999 HTTP 用于运行语句、作业和应用程序的服务
HiveServer2 10501 Thrift 用于连接到 Hive 的服务 (Thrift)
HiveServer2 10500 TCP/IP 用于连接到 Hive 的服务 (JDBC)
Hive Meta Store 9083 Thrift 用于连接到 Hive 元数据的服务 (Thrift/JDBC)
WebHCat 服务器 30111 HTTP 位于 HCatalog 和其他 Hadoop 服务顶层的 Web API
ZooKeeper Server 2181 客户端用来连接 ZooKeeper 的端口
Hbase Master 16010 HTTP HBase 主控 Web UI 的端口
HMaster 信息 Web UI 16000
Storm Nimbus N/A
Kafka Manager 9001
Kibana 5601
HUE 8888

核心节点:

服务名称 端口 URL 路径 协议 备注
HDFS Datanode 50475 HTTPS 用于查看状态、日志等的 Web UI
HDFS Datanode 50470 数据传输
HDFS Datanode 8010 IPC 元数据操作
YARN Nodemanager 45454 容器管理器的地址
ZooKeeper Server 2181 客户端用来连接 ZooKeeper 的端口
Hbase RegionServer 16020
ElasticSearch 9200
Kafka Broker 6667 Kafka Wire Protocol(Kafka 线路协议) 用于客户端通信
Storm Supervisor N/A

组件安装地址

/usr/hdp/current

组件日志地址

/mnt/log

金山云,开启您的云计算之旅

立即注册