全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

Hue简介

最近更新时间:2024-01-16 16:40:55

Hue (Hadoop User Experience)是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,其基于Python Web框架Django实现。Hue为KMR集群提供了图形化用户界面,便于用户配置、使用以及查看KMR集群。

HUE功能

1.访问HDFS和文件浏览;

2.通过web调试和开发hive以及数据结果展示;

3.solr查询、结果展示、报表生成;

4.通过web调试和开发impala交互式SQL Query;

5.spark调试和开发;

6.Pig开发和调试;

7.oozie任务的开发、监控和工作流协调调度;

8.Hbase数据查询和修改、数据展示;

9.Hive的元数据(metastore)查询;

10.MapReduce任务进度查看,日志追踪;

11.创建和提交MapReduce,Streaming,Java job任务;

12.Sqoop2的开发和调试;

13.Zookeeper的浏览和编辑;

14.数据库(MySQL、PostgreSQL、SQlite,Oracle)的查询和展示。

相关连接

官网: http://gethue.com/

Github: https://github.com/cloudera/hue

Reviews: https://review.cloudera.org

登录Hue控制台

在使用Hue组件管理工作流时,首先登陆Ambari控制台,然后再登陆Hue控制台页面。

操作步骤

1.在KMR集群详情页中的选择Ambari控制台。

2.在Ambari控制台Service界面中选择Hue,单击上边Quick Links下拉菜单,然后单击Hue WEB-UI即可进入Hue的Web页面。

3.首次登录会创建用户,请牢记首次登录的用户名和密码,如果忘记请联系金山云的开发人员重置密码。

1.png

HDFS文件浏览

通过Hue的Web页面可方便查看HDFS中的文件及文件夹,以及对其进行创建、下载、上传、复制、修改及删除等操作。

操作步骤

1、在 Hue 控制台左侧,选择 Browsers>Files 进入 HDFS 文件浏览。

2.png

2、进入 File Browser ,可以对文件进行创建、下载、上传、复制、修改及删除、修改权限等操作。

3.png

Hive SQL查询

通过Hue的Web页面可方便查看HDFS中的文件及文件夹,以及对其进行创建、下载、上传、复制、修改及删除等操作。

操作步骤

1、在 Hue 控制台左侧,选择 Browsers>Files 进入 HDFS 文件浏览。

2.png

2、进入 File Browser ,可以对文件进行创建、下载、上传、复制、修改及删除、修改权限等操作。

3.png

Oozie任务调度

工作流数据

Hue的任务是基于工作流的调度,我们创建一个包含 Hive script 脚本的工作流,其中具体脚本内容如下所示:

create database if not exists hive_db;
show databases;
use hive_db;
show tables;
create table if not exists hive_test (a int, b string);
show tables;
insert into hive_test select 1, "test";
select * from hive_test;

将上面脚本内容保存到hive_test.sql脚本文件中,并上传到hdfs目录/tmp/目录下;另外Hive工作流还需要一个hive-site.xml 配置文件,此配置文件路径在:/usr/hdp/2.6.1.0-129/hive/conf/hive-site.xml下,同时将改配置文件上传到hdfs目录/tmp/目录下。

创建工作流

1.在Hue页面的上方,选择Workflow,具体如下图所示。

1.png

2.在工作流编辑页面中拖一个 Hive Script。

2.png

3.选择上传到hdfs上的hive_test.sql脚本文件和hive-site.xml 配置文件。

3.png

4.单击 Add 后,还需在 FILES 中指定 hive script 文件。

4.png

5.单击右上角保存,然后单击执行,运行 workflow。

5.png

创建定时任务

Hue是支持定时任务调度的,有点类似于crontab执行命令,该定时任务支持的调度粒度可以到分钟级别。

1.在Hue页面的上方,选择Schedule,具体如下图所示。

1.png

2.选择一个创建好的工作流,然后选择需要调度的时间、时间间隔、时区、调度任务的开始时间及结束时间,然后单击保存和执行,具体如下所示。

2.png

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈