全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

作业设置

最近更新时间:2023-06-16 11:46:59

在离线数据开发过程中不同作业支持不同的作业设置。所有的作业设置有:基本信息、参数设置、调度设置、前后命令行、告警设置、包依赖、函数依赖、版本。

具体不同插件支持的设置如下所示:

插件类型 参数设置 调度设置 前后命令行 告警设置 包依赖 函数依赖 版本 基本信息
作业流
数据同步
数据加工
数据整合
业务核验
Spark SQL
Spark Shell
Shell
Python
Perl
MPP SQL
挖掘

基本信息

基本信息功能仅仅在作业流显示,显示作业流的 ID、名称、责任人和描述等。

参数设置

在数据开发过程中,可以使用参数,参数分为系统参数和用户自定义参数。对于系统参数,由系统进行赋值。用户自定的参数需要用户在参数设置中进行赋值。

调度配置(作业流)

在离线计算开发过程,作业/作业流需要进行周期性的执行。离线开发与调度系统进行了无缝的整合,用户在作业/作业流开发的过程中就可以进行周期设置。调度的周期设置分为,作业和作业流两部分。其中作业流上设置调度的首次生效日期,运行周期日历,执行策略,调度时间依赖和作业流上的外部事件依赖、外部作业依赖以及外部作业流依赖等。

调度配置(作业)

作业上设置调度的信息包括频度设置,优先级设置,失败重试,逻辑资源组以及在作业上的外部事件依赖、外部作业依赖和外部作业流依赖。

前后命令行

作业设置前后处理之后将会在作业主程序之前和之后增加相应的前后处理命名。目前前后处理支持 shell 和 Python 3.6 两种命令格式。在选择开启之后,用户可以进行前后处理代码编辑。

告警设置

针对每个作业用户可以进行告警设置。告警设置目前分为两类:任务失败告警、运行时间延时告警。当作业出现相应的作业运行异常时,可以按照作业的重要程度设置告警级别是通知还是严重。通知和严重仅仅作业告警信息通知文本体现。

告警设置中支持用户进行作业返回码映射功能。返回码对应的映射对应功能包括:成功、失败(重试)、失败(不重试)。目前返回码映射功能仅支持容器类作业,且最大返回码为255。YARN类型作业暂不支持返回码设置。

包依赖

  1. 开发作业过程中如果需要引用外部资源可以在包依赖中进行相关设置。引用的包是在【资源管理】中进行上传的。
  2. 点击增加包弹出包选择弹窗,进行资源的选择。

函数依赖

作业开发过程中可以引用函数。函数分为系统函数和用户自定义函数。用户使用系统函数系统会自动替换不需要进行函数依赖设置。当用户引入用户自定义函数时,需要在函数依赖中添加依赖。

版本

数据开发可以进行作业和作业流的版本管理。当作业流进行提交操作的时候,作业流及其提交时包含的作业会生成一个新的版本。作业的版本生成只能依赖作业流,作业无法独立提交生成新的版本。

作业流版本

  1. 用户点击作业流上版本可以查看当前作业流有提交过哪些版本。
  2. 点击查看查看当前版本作业流编辑情况。页面会跳转到一个独立的页面,页面上显示作业流版本内容。
  3. 仅可以进行查看操作,不能进行编辑再开发。
  4. 作业流版本当勾选两个版本后,可以进行作业流版本信息对比。对比两个作业流 DAG 图。
  5. 跳转到新页面之后,显示选中两个版本的 DAG 图区别。

作业版本

  1. 点击作业上版本显示作业的版本列表。
  2. 点击查看跳转到新页面,查看当前版本的内容。
  3. 新页面也是只允许查看,不允许进行编辑的。
  4. 当选中两个版本之后可以进行两个版本之间的内容对比。
  5. 点击版本对比之后,跳转到新页面。版本对比分为两部分一部分是配置对比。此时页面上勾选的配置会以JSON的形式进行文本对比。
  6. 另一部分是作业编辑内容的对比。会高亮显示出来两个版本中有区别的地方。
  7. 作业上的版本允许进行回滚操作,当点击某个版本后面的代码回滚后,当前版本代码就将回滚到编辑区,可以在当前版本上进行再编辑。
文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈