流式投递

操作步骤

点击左侧导航栏流式采集，进入页面后点击操作列投递管理，即可进入流式投递功能模块。

新建流式投递任务

点击新建投递任务，进入投递任务的参数配置页面。


参数配置说明如下：

参数名称	说明
投递任务名称	支持中文、英文、数字、下划线，最大 50 字符。
待投递 Kafka/Topic	流式采集任务的目标Kafka/Topic，默认，用户无需填写。
Kafka 消费位置	支持 Earliest、Latest 两种选择，选择 Earliest 会投递 kafka 所有历史数据及最新数据，选择 Latest 只会采集最新数据。
目标数据源类型	当前只支持 Elasticsearch。
目标数据源名称	目标数据投递写入的数据源。
目标索引	结果数据投递写入的索引。
目标数据表	结果数据投递写入的表（Type）。
数据写入批次大小	每批次写入数据的最大条数阈值（数据将分批次写入），最大限制 10 万条。
写入时间间隔（ms）	数据写入目标表的最大等待时间，0 或者不填表示不启用，最大限制 1 亿条（1 天）。

测试运行

点击投递列表中的发布测试，并按需选择资源后，可对投递作业进行在测试环境运行。为保障投递作业正常运行，需保证DCU资源数必须大于2。

查看测试实例

发布到测试后，可在运维中心 > 数据采集 > 测试实例中查看任务列表。可进行启动、终止、发布生产、资源修改、查看Flink UI、查看日志等操作。

操作命令	说明
启动/终止	终止后，流式投递作业会终止，可点击启动重启流式投递作业。启动时，可选择从【当前时间启动】或从【上一次作业终止时间启动】。（上一次作业终止时间即：上一次手动停止流式投递作业的时间。）
发布生产	可将作业发不到生产环境，发布时需选择版本。
资源修改	作业终止后，可进行资源修改操作。
查看Flink UI	可通过Flink UI查看作业运行进度与状态。（查看Flink_UI前，需要提前配置部署集群的hosts，否则页面无法正常跳转。）
查看日志	查看作业日志与调度日志。（作业日志：主要用于定位作业运行中遇到的异常问题。调度日志：主要用于定位作业是否正常启动等。）

任务上线发布

在流式投递作业列表点击发布生产，选择要发布的版本后可申请将流式投递作业发布至生产环境。

任务上线审核

从屏幕左下角点击进入发布管理模块，点击发布审批进入页面，可在【未审批】列表中，对申请上线的任务进行审核，审核时，可选择审核通过或审核拒绝。
审批通过后，可在【已发布列表】中，查看任务信息，或进行下线操作。

任务上线启动

上线审核通过后，可在运维中心 > 任务运维 > 数据采集任务中查看任务列表。对于流式投递任务，点击上线启动，可启动。

任务上线运行

任务上线启动后，可在运维中心 > 数据采集 > 生产任务中查看任务列表，并进行启动/终止、资源修改、查看 Flink UI、查看日志等操作。