点击新建采集 > 流式数据库采集,创建采集任务。
在弹出的窗口中填写新建采集任务的基本信息,必填参数说明如下:
参数名称 | 说明 |
---|---|
采集名称 | 支持中文、英文、数字、下划线,最大 50 字符。 |
目标 Topic | 待采集数据需要写入的 Topic,支持下拉选择,可选择该项目下有权限的所有 Topic 。 |
异常数据 Topic | 当指定错误队列时,格式异常的数据会写入异常 Topic下,支持下拉选择,可选择该项目下有权限的所有 Topic(异常 Topic 不能和目标 Topic 选择同一个)(备注: 异常 Topic 在创建时,只需要指定一个 string 类型的字段即可) |
选择 Topic 时,支持对 Topic 字段信息进行预览。
配置完毕后,点击下一步,完成采集任务创建。
流式数据库采集支持采集 MySQL、Oracle 的数据。
流式数据库 MySQL 采集使用的是 Canal+Flume 的方式采集数据,配置 Agent 信息后,下载对应 Agent 后,在本地部署启动。
流式数据库 MySQL 采集使用的是 OGG+Flume 的方式采集数据,配置 Agent 信息后,下载对应 Oracle 源端 OGG、目标端 OGG、Agent 后,在本地部署启动。
1.MySQL数据库采集的投递目标 Topic,字段必须严格按照以下格式创建。
{
"table": "TCLOUD.T_OGG2", //库名.表名
"op_type": "U", //操作类型 U 更新 D 删除 I插入
"current_ts": "2018-05-31T14:49:01.709000",
//【处理时间】
"pos": "00000000000000003770", //偏移量
"before": { //object 类型,操作前的字段
"ID": 1, //业务字段
"AGE": 20,
"IDD": "1"
},
"after": { // object 类型,操作后的字段
"ID": 1,
"AGE": 1,
"IDD": "1"
}
}
2.Oracle 数据库采集的投递目标 Topic,字段必须严格按照以下格式创建。
{
"table": "TCLOUD.T_OGG2", //库名.表名
"op_type": "U", //操作类型 U 更新 D 删除 I插入
"op_ts": "2018-05-31 14:48:55.630340", //操作时间
"current_ts": "2018-05-31T14:49:01.709000",
//【处理时间】
"pos": "00000000000000003770", //偏移量
"before": { //object 类型,操作前的字段
"ID": 1, //业务字段
"AGE": 20,
"IDD": "1"
},
"after": { // object 类型,操作后的字段
"ID": 1,
"AGE": 1,
"IDD": "1"
}
}
点击任务列表的采集明细,可查看每个 Agent 的具体情况,并进行:暂停、恢复、停止、升级、删除等操作。
参数名称 | 说明 |
---|---|
暂停/恢复 | 暂停后,采集任务暂时中断,可点击恢复重启采集任务。 |
停止 | 停止后,页面无法重启任务,需通过 Agent 重新启动。 |
删除 | 任务停止后,可删除任务(任务停止状态,才会出现删除按钮)。 |
升级 | 采集任务有升级/更新时,可点击升级对 Agent 配置文件进行升级/更新(备注: (1)采集任务的 Agent 信息有修改时,才会出现【升级】按钮并支持更新操作;(2)MySQL 数据库采集,不支持 Agent 更新)。 |
文档内容是否对您有帮助?
评价建议不能为空
非常感谢您的反馈,我们会继续努力做到更好!