库表创建

最近更新时间:2021-03-23 14:48:58

查看PDF

新建Topic(用于流式采集)

设计态-新建Topic

image.png
注意:新建Topic时需指定Topic归属的项目,即此Topic可在归属项目下使用。
image.png
image.png
完成字段设置后,点击【完成】按钮,结束Topic创建过程。

特别注意: 当创建的 Topic 用于流式数据库采集时,对 Topic 的字段设置有特定要求,具体说明如下。
1.当作为 MySQL数据库采集的投递目标 Topic 时,字段设置限定如下:

{ 
   "table": "TCLOUD.T_MySQL", //库名.表名 
   "op_type": "U", //操作类型 U 更新 D 删除 I插入 
   "current_ts": "2018-05-31T14:49:01.709000", //【处理时间】 
   "pos": "00000000000000003770", //偏移量 
   "before": { //object 类型,操作前的字段 
              "XXX_A ": 1, //业务字段 
              "XXX_B": 20, 
              }, 
   "after": { // object 类型,操作后的字段 
              "XXX_A ": 1, //业务字段 
              "XXX_B": 20, 
              } 
} 

创建样例如下图所示:
image.png
2.当作为 Oracle 数据库采集的投递目标 Topic 时。

{ 
   "table": "TCLOUD.T_OGG2", //库名.表名 
   "op_type": "U", //操作类型 U 更新 D 删除 I插入 
   "op_ts": "2018-05-31 14:48:55.630340", //操作时间  
   "current_ts": "2018-05-31T14:49:01.709000", //【处理时间】 
   "pos": "00000000000000003770", //偏移量 
   "before": { //object 类型,操作前的字段 
             "XXX_A ": 1, //业务字段 
             "XXX_B": 20, 
             }, 
   "after": { // object 类型,操作后的字段 
             "XXX_A ": 1, //业务字段 
             "XXX_B": 20, 
            } 
} 

创建样例如下图所示:
image.png

发布到测试

发布测试时,需指定此Topic归属的数据源。
image.png
发布测试完毕后,可在测试环境中筛选查看。

发布到生产

Topic发布到生产后,可在生产环境使用。

新建Object(用于批量采集)

登记bucket

1.新建Object前,需要为当前项目绑定可用的bucket。进入项目专属开发页面,在左侧依次点击【数据管理】>【元数据管理】>【库表管理】,在右侧点击【设计态】>【Bucket】>【登记bucket】。
image.png
2.在弹出页面中,填写创建bucket的各项属性。【bucket名称】为用户自定义,【所属项目】选择要创建在哪个项目下。配置完后点击确定。
image.png
3.在bucket列表中可以看到新建的bucket。点击【操作】列发布到测试,将该bucket发布到测试环境。
4.在弹出页面选择【数据源类型】为ks3,选择合适的【数据源名称】,点击【确认】发布。经有审批权限的账号审批后,该发布生效。发布成功后,bucket信息可在测试环境查看。
image.png

新建Object

1.依次点击页面左侧的【数据管理】>【元数据管理】>【库表管理】,在右侧面板上依次点击【设计态】>【Object设计】>【创建Object】。
image.png
2.在新弹出页面填写Object的各项信息,在【所属项目】选择之前新建的项目,配置完成后点击【下一步】。
image.png
3.创建Object时,需要为该接口添加字段。为每个字段设置字段名称、字段类型、字段长度等属性。点击【新增字段】可以增加新的字段。设置完所有字段后点击【下一步】。
image.png
4.创建Object的最后一步需要为接口指定数据交换路径。由于文件推送执行时会指定路径,【数据路径】】需填写但不会实际生效。【文件字符】和【文件分隔符】按需填写,【文件字符】不填时默认使用utf-8,点击【完成】结束配置。
image.png

发布到测试

1.点击【操作】列【发布到测试】,以将该接口发布到测试环境。
2.点击【测试环境】>【我设计的库表】,在数据库列表中,可以看到已登记的bucket命名的数据库,点击【操作】列的【显示表】,可以看到已发布到测试环境的以Object命名的表。

发布到生产

1.点击对应的库名称【操作】列的【发布到生产】,将bucket对应的数据库发布到生产。审批通过后,发布成功。
2.依次点击【生产环境】>【我设计的库表】,就可以看到已发布到生产的数据库,点击【操作】列【显示表】,可以看到已发布到生产的Object对应的表。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

  • 内容不全,不深入
  • 内容更新不及时
  • 描述不清晰,比较混乱
  • 系统或功能太复杂,缺乏足够的引导
  • 内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈