流式投递

最近更新时间:2021-03-22 16:05:52

查看PDF

操作步骤

点击流式采集列表中的【投递管理】,即可进入流式投递功能模块。
image.png

新建流式投递任务

点击【新建投递任务】,进入投递任务的参数配置页面。
image.png
image.png
参数配置说明如下:

参数名称 说明
投递任务名称 支持中文、英文、数字、下划线,最大 50 字符。
待投递 Kafka/Topic 流式采集任务的目标Kafka/Topic,默认,用户无需填写。
Kafka 消费位置 支持 Earliest、Latest 两种选择,选择 Earliest 会投递 kafka 所有历史数据及最新数据,选择 Latest 只会采集最新数据。
目标数据源类型 当前只支持 Elasticsearch。
目标数据源名称 目标数据投递写入的数据源。
目标索引 结果数据投递写入的索引。
目标数据表 结果数据投递写入的表(Type)。
数据写入批次大小 每批次写入数据的最大条数阈值(数据将分批次写入),最大限制 10 万条。
写入时间间隔(ms) 数据写入目标表的最大等待时间,0 或者不填表示不启用,最大限制 1 亿条(1 天)。

image.png
image.png

测试运行

点击投递列表中的【发布测试】,并按需选择资源后,可对投递作业进行在测试环境运行。为保障投递作业正常运行,需保证DCU资源数必须大于2。

查看测试实例

发布到测试后,可在【运维中心】>【数据采集】>【测试实例】中查看任务列表。可进行启动、终止、发布生产、资源修改、查看Flink UI、查看日志等操作。

操作命令 说明
启动/终止 终止后,流式投递作业会终止,可点击【启动】重启流式投递作业。启动时,可选择从“当前时间启动”或从“上一次作业终止时间启动”。(上一次作业终止时间即:上一次手动停止流式投递作业的时间。)
发布生产 可将作业发不到生产环境,发布时需选择版本。
资源修改 作业终止后,可进行资源修改操作。
查看Flink UI 可通过Flink UI查看作业运行进度与状态。(查看Flink_UI前,需要提前配置部署集群的hosts,否则页面无法正常跳转。)
查看日志 查看作业日志与调度日志。(作业日志:主要用于定位作业运行中遇到的异常问题。调度日志:主要用于定位作业是否正常启动等。)

任务上线发布

在流式投递作业列表点击【发布生产】,选择要发布的版本后可申请将流式投递作业发布至生产环境。

任务上线审核

从屏幕左下角的进入【发布管理】模块,点击进入【发布审批】页面,可在【未审批】列表中,对申请上线的任务进行审核,审核时,可选择审核通过或审核拒绝。
审批通过后,可在【已发布列表】中,查看任务信息,或进行下线操作。

任务上线启动

上线审核通过后,可在【运维中心】>【任务运维】>【数据采集任务】中查看任务列表。对于流式投递任务,点击【上线启动】,可启动。

任务上线运行

任务上线启动后,可在【运维中心】>【数据采集】>【生产任务】中查看任务列表,并进行启动/终止、资源修改、查看 Flink UI、查看日志等操作。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

  • 内容不全,不深入
  • 内容更新不及时
  • 描述不清晰,比较混乱
  • 系统或功能太复杂,缺乏足够的引导
  • 内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈