流式采集-流式数据库采集

最近更新时间:2021-03-22 16:05:41

查看PDF

创建采集任务

点击页面的【新建采集】按钮,在弹出的抽屉中,点击【流式数据库采集】创建采集任务。

配置基本信息

在弹出的窗口中填写新建采集任务的基本信息,必填参数说明如下:

参数名称 说明
采集名称 支持中文、英文、数字、下划线,最大 50 字符。
目标 Topic 待采集数据需要写入的 Topic,支持下拉选择,可选择该项目下有权限的所有 Topic 。
异常数据 Topic 当指定错误队列时,格式异常的数据会写入异常 Topic下,支持下拉选择,可选择该项目下有权限的所有 Topic(异常 Topic 不能和目标 Topic 选择同一个)(备注:异常 Topic 在创建时,只需要指定一个 string 类型的字段即可)

选择 Topic 时,支持对 Topic 字段信息进行预览。
配置完毕后,点击【下一步】,完成采集任务创建。

配置 Agent 信息

流式数据库采集支持采集 MySQL、Oracle 的数据。

MySQL采集说明

流式数据库 MySQL 采集使用的是 Canal+Flume 的方式采集数据,配置 Agent 信息后,下载对应 Agent 后,在本地部署启动。
image.png

Oracle采集说明

流式数据库 MySQL 采集使用的是 OGG+Flume 的方式采集数据,配置 Agent 信息后,下载对应 Oracle 源端 OGG、目标端 OGG、Agent 后,在本地部署启动。
image.png

特别说明

1.MySQL数据库采集的投递目标 Topic,字段必须严格按照以下格式创建。

{ 
   "table": "TCLOUD.T_OGG2", //库名.表名 
   "op_type": "U", //操作类型 U 更新 D 删除 I插入 
   "current_ts": "2018-05-31T14:49:01.709000", 
   //【处理时间】 
   "pos": "00000000000000003770", //偏移量 
   "before": { //object 类型,操作前的字段 
   "ID": 1, //业务字段 
   "AGE": 20, 
   "IDD": "1" 
   }, 
   "after": { // object 类型,操作后的字段 
   "ID": 1, 
   "AGE": 1, 
   "IDD": "1" 
   } 
}

2.Oracle 数据库采集的投递目标 Topic,字段必须严格按照以下格式创建。

{ 
   "table": "TCLOUD.T_OGG2", //库名.表名 
   "op_type": "U", //操作类型 U 更新 D 删除 I插入 
   "op_ts": "2018-05-31 14:48:55.630340", //操作时间  
   "current_ts": "2018-05-31T14:49:01.709000", 
   //【处理时间】 
   "pos": "00000000000000003770", //偏移量 
   "before": { //object 类型,操作前的字段 
   "ID": 1, //业务字段 
   "AGE": 20, 
   "IDD": "1" 
   }, 
   "after": { // object 类型,操作后的字段 
   "ID": 1, 
   "AGE": 1, 
   "IDD": "1" 
   } 
} 

查看 Agent 列表/采集明细

点击任务列表的【采集明细】,可查看每个 Agent 的具体情况,并进行:暂停、恢复、停止、升级、删除等操作。

参数名称 说明
暂停/恢复 暂停后,采集任务暂时中断,可点击【恢复】重启采集任务。
停止 停止后,页面无法重启任务,需通过 Agent 重新启动。
删除 任务停止后,可删除任务(任务停止状态,才会出现删除按钮)。
升级 采集任务有升级/更新时,可点击【升级】对 Agent 配置文件进行升级/更新(备注:(1)采集任务的 Agent 信息有修改时,才会出现“【升级】按钮并支持更新操作;(2)MySQL 数据库采集,不支持 Agent 更新)。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

  • 内容不全,不深入
  • 内容更新不及时
  • 描述不清晰,比较混乱
  • 系统或功能太复杂,缺乏足够的引导
  • 内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈