运维中心概述

最近更新时间:2019-12-20 14:15:47

运维中心为大数据云平台中其它有作业调度执行需求的组件(数据集成、流计算、数据管理等)及第三方应用提供统一的作业调度、执行平台。运维中心支持多租户、支持细粒度的执行资源控制、支持多种依赖配置(流依赖、作业依赖、事件依赖,同时还可以在依赖上进行偏移)。通过基于事件消息驱动的方式,保证作业执行更加高效。

名词解释

- 作业流 指一个由作业节点组成的图。每个作业节点按照配置完成一定的处理逻辑。作业节点之间要么无关联,要么通过有向边进行依赖关联,但关联时不能形成环路。一个画布中的全部作业节点及其依赖(如果有的话)称为一个作业流。一般来说,在作业流调度模型中,作业流为调度单元,而其中的作业节点为最小粒度的执行单元。

- 作业 作业流中的一个节点,即由用户定义的完成一定工作的逻辑单元。在任务调度模型中,作业(或任务)是最小执行单元。

- 实例化 生成作业实例的动作称为实例化。实例化主要是设置作业执行时需要的业务时间、批次。

- 翻牌 一个作业流执行结束后,根据策略生成该作业流下后续一到多个批次作业流实例及作业流/作业依赖的动作称为翻牌。

- 事件 可能触发系统对作业流/作业进行实例化、状态改变、派发/执行等操作的消息。

- 批次号 作业流/作业实例的编号,对同一个作业流/作业,此编号唯一。默认情况下批次号从1开始递增,手动触发时可能要求输入批次号,例如测试时要求输入批次号。

- 触发 每个作业/作业流运行都有一个前提条件。这个前提条件可以是一个外部事件,也可以是一个流内作业或者跨流作业。当满足作业/作业流的前提条件时,作业就会运行,这个满足前提条件后运行的过程叫做触发。

- 外部依赖 当一个作业/作业流的前提条件为一个外部事件时,这个外部条件可以是一个外部文件。此时成这个作业依赖一个外部依赖。

- 流内依赖 同一个作业流内作业间的相互依赖称为流内依赖。流内依赖在作业流内体现为两个作业间的连线。 - 跨流依赖 一个作业/作业流依赖其他作业流内的某个作业。称为跨流依赖某个作业。一个作业/作业流依赖其他作业流,称为跨流依赖某个作业流。

- 批次偏移 当存在跨流依赖或者外部依赖时,被依赖的作业/作业流或者外部事件可能存在多批次,依赖多批次中某个特定批次时,称为此时的依赖存在批次偏移。

- 时间偏移 当存在跨流依赖或者外部依赖时,被依赖的作业/作业流或者外部事件不是当前作业流实例运行的业务日期而历史的某个外部事件或者历史的作业/作业流实例时,称为此时的依赖存在时间偏移。

金山云,开启您的云计算之旅

注册有礼