全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

库表创建

最近更新时间:2023-06-16 11:46:58

新建Topic(用于流式采集)

元数据管理 > 库表管理 > 设计态 > 新建Topic

image.png
注意:新建Topic时需指定Topic归属的项目,即此Topic可在归属项目下使用。
image.png
image.png
完成字段设置后,点击完成按钮,结束Topic创建过程。

特别注意: 当创建的 Topic 用于流式数据库采集时,对 Topic 的字段设置有特定要求,具体说明如下。
1.当作为 MySQL数据库采集的投递目标 Topic 时,字段设置限定如下:

{ 
   "table": "TCLOUD.T_MySQL", //库名.表名 
   "op_type": "U", //操作类型 U 更新 D 删除 I插入 
   "current_ts": "2018-05-31T14:49:01.709000", //【处理时间】 
   "pos": "00000000000000003770", //偏移量 
   "before": { //object 类型,操作前的字段 
              "XXX_A ": 1, //业务字段 
              "XXX_B": 20, 
              }, 
   "after": { // object 类型,操作后的字段 
              "XXX_A ": 1, //业务字段 
              "XXX_B": 20, 
              } 
} 

创建样例如下图所示:
image.png
2.当作为 Oracle 数据库采集的投递目标 Topic 时。

{ 
   "table": "TCLOUD.T_OGG2", //库名.表名 
   "op_type": "U", //操作类型 U 更新 D 删除 I插入 
   "op_ts": "2018-05-31 14:48:55.630340", //操作时间  
   "current_ts": "2018-05-31T14:49:01.709000", //【处理时间】 
   "pos": "00000000000000003770", //偏移量 
   "before": { //object 类型,操作前的字段 
             "XXX_A ": 1, //业务字段 
             "XXX_B": 20, 
             }, 
   "after": { // object 类型,操作后的字段 
             "XXX_A ": 1, //业务字段 
             "XXX_B": 20, 
            } 
} 

创建样例如下图所示:
image.png

发布到测试

发布测试时,需指定此Topic归属的数据源。
image.png
发布测试完毕后,可在测试环境中筛选查看。

发布到生产

Topic发布到生产后,可在生产环境使用。

新建Object(用于批量采集)

登记bucket

1.新建Object前,需要为当前项目绑定可用的bucket。进入项目专属开发页面,在左侧导航栏依次点击数据管理 > 元数据管理 > 库表管理,随后点击设计态 > Bucket > 登记bucket
image.png
2.在弹出页面中,填写创建bucket的各项属性。【bucket名称】为用户自定义,【所属项目】选择要创建在哪个项目下。配置完后点击确定。
image.png
3.在bucket列表中可以看到新建的bucket。点击操作列发布,将该bucket发布到测试环境。
4.在弹出页面选择【数据源类型】为ks3,选择合适的【数据源名称】,点击确认发布。经有审批权限的账号审批后,该发布生效。发布成功后,bucket信息可在测试环境查看。
image.png

新建Object

1.依次点击左侧导航栏数据管理 > 元数据管理 > 库表管理,随后点击设计态 > Object设计 > 创建Object
image.png
2.在新弹出页面填写Object的各项信息,在【所属项目】选择之前新建的项目,配置完成后点击下一步
image.png
3.创建Object时,需要为该接口添加字段。为每个字段设置字段名称、字段类型、字段长度等属性。点击新增字段可以增加新的字段。设置完所有字段后点击下一步
image.png
4.创建Object的最后一步需要为接口指定数据交换路径。由于文件推送执行时会指定路径,【数据路径】】需填写但不会实际生效。【文件字符】和【文件分隔符】按需填写,【文件字符】不填时默认使用utf-8,点击完成结束配置。
image.png

发布到测试

1.点击操作列发布到测试,以将该接口发布到测试环境。
2.点击测试环境 > 我设计的库表,在数据库列表中,可以看到已登记的bucket命名的数据库,点击操作列的显示表,可以看到已发布到测试环境的以Object命名的表。

发布到生产

1.点击对应的库名称操作列的发布到生产,将bucket对应的数据库发布到生产。审批通过后,发布成功。
2.依次点击生产环境 > 我设计的库表,就可以看到已发布到生产的数据库,点击操作列显示表,可以看到已发布到生产的Object对应的表。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈