Oozie 任务调度

最近更新时间:2021-03-11 23:16:29

查看PDF

工作流数据

Hue的任务是基于工作流的调度,我们创建一个包含 Hive script 脚本的工作流,其中具体脚本内容如下所示:

create database if not exists hive_db;
show databases;
use hive_db;
show tables;
create table if not exists hive_test (a int, b string);
show tables;
insert into hive_test select 1, "test";
select * from hive_test;

将上面脚本内容保存到hive_test.sql脚本文件中,并上传到hdfs目录/tmp/目录下;另外Hive工作流还需要一个hive-site.xml 配置文件,此配置文件路径在:/usr/hdp/2.6.1.0-129/hive/conf/hive-site.xml下,同时将改配置文件上传到hdfs目录/tmp/目录下。

创建工作流

1.在Hue页面的上方,选择Workflow,具体如下图所示。

1.png

2.在工作流编辑页面中拖一个 Hive Script。

2.png

3.选择上传到hdfs上的hive_test.sql脚本文件和hive-site.xml 配置文件。

3.png

4.单击 Add 后,还需在 FILES 中指定 hive script 文件。

4.png

5.单击右上角保存,然后单击执行,运行 workflow。

5.png

创建定时任务

Hue是支持定时任务调度的,有点类似于crontab执行命令,该定时任务支持的调度粒度可以到分钟级别。

1.在Hue页面的上方,选择Schedule,具体如下图所示。

1.png

2.选择一个创建好的工作流,然后选择需要调度的时间、时间间隔、时区、调度任务的开始时间及结束时间,然后单击保存和执行,具体如下所示。

2.png

3.最后在Workflows、Schedulers 的监控页面可以查看任务调度执行情况。

3.png

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈