最近更新时间:2024-01-16 16:40:55
Hue (Hadoop User Experience)是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,其基于Python Web框架Django实现。Hue为KMR集群提供了图形化用户界面,便于用户配置、使用以及查看KMR集群。
1.访问HDFS和文件浏览;
2.通过web调试和开发hive以及数据结果展示;
3.solr查询、结果展示、报表生成;
4.通过web调试和开发impala交互式SQL Query;
5.spark调试和开发;
6.Pig开发和调试;
7.oozie任务的开发、监控和工作流协调调度;
8.Hbase数据查询和修改、数据展示;
9.Hive的元数据(metastore)查询;
10.MapReduce任务进度查看,日志追踪;
11.创建和提交MapReduce,Streaming,Java job任务;
12.Sqoop2的开发和调试;
13.Zookeeper的浏览和编辑;
14.数据库(MySQL、PostgreSQL、SQlite,Oracle)的查询和展示。
官网: http://gethue.com/
Github: https://github.com/cloudera/hue
Reviews: https://review.cloudera.org
在使用Hue组件管理工作流时,首先登陆Ambari控制台,然后再登陆Hue控制台页面。
1.在KMR集群详情页中的选择Ambari控制台。
2.在Ambari控制台Service界面中选择Hue,单击上边Quick Links下拉菜单,然后单击Hue WEB-UI即可进入Hue的Web页面。
3.首次登录会创建用户,请牢记首次登录的用户名和密码,如果忘记请联系金山云的开发人员重置密码。
通过Hue的Web页面可方便查看HDFS中的文件及文件夹,以及对其进行创建、下载、上传、复制、修改及删除等操作。
1、在 Hue 控制台左侧,选择 Browsers>Files 进入 HDFS 文件浏览。
2、进入 File Browser ,可以对文件进行创建、下载、上传、复制、修改及删除、修改权限等操作。
通过Hue的Web页面可方便查看HDFS中的文件及文件夹,以及对其进行创建、下载、上传、复制、修改及删除等操作。
1、在 Hue 控制台左侧,选择 Browsers>Files 进入 HDFS 文件浏览。
2、进入 File Browser ,可以对文件进行创建、下载、上传、复制、修改及删除、修改权限等操作。
Hue的任务是基于工作流的调度,我们创建一个包含 Hive script 脚本的工作流,其中具体脚本内容如下所示:
create database if not exists hive_db;
show databases;
use hive_db;
show tables;
create table if not exists hive_test (a int, b string);
show tables;
insert into hive_test select 1, "test";
select * from hive_test;
将上面脚本内容保存到hive_test.sql脚本文件中,并上传到hdfs目录/tmp/
目录下;另外Hive工作流还需要一个hive-site.xml
配置文件,此配置文件路径在:/usr/hdp/2.6.1.0-129/hive/conf/hive-site.xml
下,同时将改配置文件上传到hdfs目录/tmp/
目录下。
1.在Hue页面的上方,选择Workflow,具体如下图所示。
2.在工作流编辑页面中拖一个 Hive Script。
3.选择上传到hdfs上的hive_test.sql
脚本文件和hive-site.xml
配置文件。
4.单击 Add 后,还需在 FILES 中指定 hive script 文件。
5.单击右上角保存,然后单击执行,运行 workflow。
Hue是支持定时任务调度的,有点类似于crontab执行命令,该定时任务支持的调度粒度可以到分钟级别。
1.在Hue页面的上方,选择Schedule,具体如下图所示。
2.选择一个创建好的工作流,然后选择需要调度的时间、时间间隔、时区、调度任务的开始时间及结束时间,然后单击保存和执行,具体如下所示。
纯净模式