全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

创建加工任务

最近更新时间:2023-04-26 15:40:39

本文介绍如何通过日志服务控制台创建数据加工任务。

前提条件
1、已开通日志服务,创建源日志池、并成功采集日志数据。
2、已创建目标日志池。建议目标日志池为空,便于写入加工好的数据。
3、确保当前操作账号拥有配置数据加工任务的权限。

操作步骤
1、 登录日志服务Klog控制台
2、从控制台进入工程列表,点击工程名称,进入该工程详情页,在左侧导航栏,点击数据加工,进入列表页。
image.png
3、点击新建任务
4、在基本信息栏目下,填写相关配置项:

配置项 说明
任务名称 数据加工任务的名称
源日志池 作为任务的输入,选择1个需要加工的日志池
目标名称 目标日志池的别名,一是提高目标日志池的业务可读性,二是在加工函数 output(“别名”)中使用
目标工程 作为任务的输出,选择目标工程
目标日志池 作为任务的输出,选择目标日志池

image.png
说明:

  • 数据加工支持一对一和一对多的场景,可添加多个目标。在output函数中需指定目标名称,指定工程和日志池无效。
  • 数据加工只能处理实时日志流,不能处理历史日志。

5、 在编辑加工语句栏目,进行DSL函数加工语句编写和调试,平台提供两种调试数据:

  • 原始日志,在基本信息,选择源日志池后,系统会自动加载近15分钟的100条日志数据,时间可按需筛选。
    image.png

  • 测试数据,如果现有日志无法满足调试需求,您可自定义测试数据,必须为 JSON 格式。也可在原始日志页签,单击加入测试数据,将日志添加到测试数据,根据需要修改后,作为您的调试数据。

image.png

6、完成 DSL 加工语句的编写后,单击执行预览,运行和调试 DSL 函数。运行结果会在加工结果页签展示,您可以针对运行结果,调整 DSL 语句,直到满足您的需求。
7、调试符合预期后,单击保存,保存数据加工任务,或单击保存并启动,提交并开始执行任务。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈