点击左侧导航栏流式采集,进入页面后点击操作列投递管理,即可进入流式投递功能模块。
点击新建投递任务,进入投递任务的参数配置页面。
参数配置说明如下:
参数名称 | 说明 |
---|---|
投递任务名称 | 支持中文、英文、数字、下划线,最大 50 字符。 |
待投递 Kafka/Topic | 流式采集任务的目标Kafka/Topic,默认,用户无需填写。 |
Kafka 消费位置 | 支持 Earliest、Latest 两种选择,选择 Earliest 会投递 kafka 所有历史数据及最新数据,选择 Latest 只会采集最新数据。 |
目标数据源类型 | 当前只支持 Elasticsearch。 |
目标数据源名称 | 目标数据投递写入的数据源。 |
目标索引 | 结果数据投递写入的索引。 |
目标数据表 | 结果数据投递写入的表(Type)。 |
数据写入批次大小 | 每批次写入数据的最大条数阈值(数据将分批次写入),最大限制 10 万条。 |
写入时间间隔(ms) | 数据写入目标表的最大等待时间,0 或者不填表示不启用,最大限制 1 亿条(1 天)。 |
点击投递列表中的发布测试,并按需选择资源后,可对投递作业进行在测试环境运行。为保障投递作业正常运行,需保证DCU资源数必须大于2。
发布到测试后,可在运维中心 > 数据采集 > 测试实例中查看任务列表。可进行启动、终止、发布生产、资源修改、查看Flink UI、查看日志等操作。
操作命令 | 说明 |
---|---|
启动/终止 | 终止后,流式投递作业会终止,可点击启动重启流式投递作业。启动时,可选择从【当前时间启动】或从【上一次作业终止时间启动】。(上一次作业终止时间即:上一次手动停止流式投递作业的时间。) |
发布生产 | 可将作业发不到生产环境,发布时需选择版本。 |
资源修改 | 作业终止后,可进行资源修改操作。 |
查看Flink UI | 可通过Flink UI查看作业运行进度与状态。(查看Flink_UI前,需要提前配置部署集群的hosts,否则页面无法正常跳转。) |
查看日志 | 查看作业日志与调度日志。(作业日志:主要用于定位作业运行中遇到的异常问题。调度日志:主要用于定位作业是否正常启动等。) |
在流式投递作业列表点击发布生产,选择要发布的版本后可申请将流式投递作业发布至生产环境。
从屏幕左下角点击进入发布管理模块,点击发布审批进入页面,可在【未审批】列表中,对申请上线的任务进行审核,审核时,可选择审核通过或审核拒绝。
审批通过后,可在【已发布列表】中,查看任务信息,或进行下线操作。
上线审核通过后,可在运维中心 > 任务运维 > 数据采集任务中查看任务列表。对于流式投递任务,点击上线启动,可启动。
任务上线启动后,可在运维中心 > 数据采集 > 生产任务中查看任务列表,并进行启动/终止、资源修改、查看 Flink UI、查看日志等操作。
文档内容是否对您有帮助?
评价建议不能为空
非常感谢您的反馈,我们会继续努力做到更好!