流式采集-流式数据库采集

创建采集任务

点击新建采集 > 流式数据库采集，创建采集任务。

配置基本信息

在弹出的窗口中填写新建采集任务的基本信息，必填参数说明如下：

参数名称	说明
采集名称	支持中文、英文、数字、下划线，最大 50 字符。
目标 Topic	待采集数据需要写入的 Topic，支持下拉选择，可选择该项目下有权限的所有 Topic 。
异常数据 Topic	当指定错误队列时，格式异常的数据会写入异常 Topic下，支持下拉选择，可选择该项目下有权限的所有 Topic（异常 Topic 不能和目标 Topic 选择同一个）（备注： 异常 Topic 在创建时，只需要指定一个 string 类型的字段即可）

选择 Topic 时，支持对 Topic 字段信息进行预览。
配置完毕后，点击下一步，完成采集任务创建。

配置 Agent 信息

流式数据库采集支持采集 MySQL、Oracle 的数据。

MySQL采集说明

流式数据库 MySQL 采集使用的是 Canal+Flume 的方式采集数据，配置 Agent 信息后，下载对应 Agent 后，在本地部署启动。

Oracle采集说明

流式数据库 MySQL 采集使用的是 OGG+Flume 的方式采集数据，配置 Agent 信息后，下载对应 Oracle 源端 OGG、目标端 OGG、Agent 后，在本地部署启动。

特别说明

1.MySQL数据库采集的投递目标 Topic，字段必须严格按照以下格式创建。

{ 
   "table": "TCLOUD.T_OGG2", //库名.表名 
   "op_type": "U", //操作类型 U 更新 D 删除 I插入 
   "current_ts": "2018-05-31T14:49:01.709000", 
   //【处理时间】 
   "pos": "00000000000000003770", //偏移量 
   "before": { //object 类型，操作前的字段 
   "ID": 1, //业务字段 
   "AGE": 20, 
   "IDD": "1" 
   }, 
   "after": { // object 类型，操作后的字段 
   "ID": 1, 
   "AGE": 1, 
   "IDD": "1" 
   } 
}

2.Oracle 数据库采集的投递目标 Topic，字段必须严格按照以下格式创建。

{ 
   "table": "TCLOUD.T_OGG2", //库名.表名 
   "op_type": "U", //操作类型 U 更新 D 删除 I插入 
   "op_ts": "2018-05-31 14:48:55.630340", //操作时间  
   "current_ts": "2018-05-31T14:49:01.709000", 
   //【处理时间】 
   "pos": "00000000000000003770", //偏移量 
   "before": { //object 类型，操作前的字段 
   "ID": 1, //业务字段 
   "AGE": 20, 
   "IDD": "1" 
   }, 
   "after": { // object 类型，操作后的字段 
   "ID": 1, 
   "AGE": 1, 
   "IDD": "1" 
   } 
} 

查看 Agent 列表/采集明细

点击任务列表的采集明细，可查看每个 Agent 的具体情况，并进行：暂停、恢复、停止、升级、删除等操作。

参数名称	说明
暂停/恢复	暂停后，采集任务暂时中断，可点击恢复重启采集任务。
停止	停止后，页面无法重启任务，需通过 Agent 重新启动。
删除	任务停止后，可删除任务（任务停止状态，才会出现删除按钮)。
升级	采集任务有升级/更新时，可点击升级对 Agent 配置文件进行升级/更新（备注： （1）采集任务的 Agent 信息有修改时，才会出现【升级】按钮并支持更新操作；（2）MySQL 数据库采集，不支持 Agent 更新）。