创建数据源和Topic

最近更新时间:2023-06-16 11:46:57

查看PDF

新建数据源

  1. 为了将数据从指定表中读写,需要按照业务需求创建对应的数据源/库/表。在数据管理 > 数据源管理新建数据源。

数据源包括:

数据库类型 数据源
关系型数据库 oracle、mysql
大数据存储 hive、hbase、elasticsearch
半结构化存储 ftp、ks3
消息队列 kafka
其他 redis、http
  1. serverAddress填写对应Kafka集群地址,可以进行连通性测试,最后点击确认
    image.png

设计态-新建topic

数据管理 > 元数据管理 > 库表管理中新建数据库和数据表(Kafka不需要新建数据库,直接新建topic即可)。topic时需指定topic归属的项目,即此topic可在归属项目下使用。

新建 topic 时需指定 topic 归属的项目,即此 topic 可在归属项目下使用。
image.png
image.png

发布到测试态

完成Topic创建动作后,Topic信息可在【库表管理】的发布态查看,点击操作列中的发布至测试,可申请将topic发布到测试环境,并在测试环境使用。

  1. 发布测试时,需指定此topic归属的数据源。
    image.png
  2. 发布测试完毕后,可在测试环境中筛选查看。

测试态审批

使用审批账号登陆大数据云平台后,在数据管理 > 元数据管理 > 发布审批 > 测试环境 > 待我审批中可以查看待审批的数据库/表,点击审批通过,并在弹出的窗口中,填写审批意见后,点击确认,即完成了审批流程。审批后,待发布的数据库/表成功发布至测试环境。

在【测试环境】选项卡下的【我已审批】选项卡下,可以看到所有已审批通过的数据库/表。

发布到生产态

将Topic发布到测试后,点击操作列显示表,页面下方会显示该数据库中所有的表,其中每个表对应一个topic。同样,点击操作列发布到生产,经过同样的审批流程后,即可将该topic发布到生产。

审批通过后,点击生产环境,在【我设计的库表】选项卡下,按所属项目进行筛选后,即可看到已发布到生产的库,点击显示表,即可看到已发布到生产的topic。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈