数据连接方式

最近更新时间:2022-07-21 07:11:43

查看PDF

产品为用户提供了两种数据连接方式,分为为直连和抽取。直连指的是是直接连接用户数据库进行数据的读取,抽取指的是将表数据抽取到有数的MPP数据库中,提升查询效率。
接下来将着重对抽取进行介绍。
数据抽取
有数支持全量抽取、增量抽取两种抽取方式。         
1.全量抽取:每次抽取的时候将表数据全部抽取至有数的MPP数据库,提供了全量覆盖收取和全量追加抽取两张抽取方式:

全量覆盖抽取:每次抽取,对数据库的全部数据进行抽取,并覆盖有数MPP数据库已有的数据,如下图所示:
image.png
全量追加抽取:每次抽取,对数据库的全部数据进行抽取,并追加在有数MPP数据库中,如下图所示:
image.png
2.增量抽取:每次抽取只抽取相比于上次更新增加的数据,提供了增量抽取和增量抽取(滚动覆盖)两种抽取方式

增量抽取:每次抽取,根据增量字段判断数据库中的数据是否为新增数据,对数据库的新增数据进行抽取,并追加在有数MPP数据库中,如下图所示:
image.png
增量抽取(滚动覆盖):每次抽取,根据日期及滚动周期将数据库中的新增以及部分历史数据抽取到有数MPP数据库中,其中历史数据将会覆盖原数据。
image.png
关于增量抽取,需要注意的是:
1、只支持针对日期型(Date)和数值型(Int)的字段作为增量抽取的依据字段。
2、只支持对源表新增的数据做增量,如果源表中对数据有更新或删除操作,增量抽取的时候不会检测到这些变化。
设置方式
用户在数据连接、数据准备、数据模型中都可以对数据连接方式进行设置。

在数据连接中,用户在选择需要设置的数据连接后,选择表信息模块,列表中会显示该连接内所有的数据表,可以对需要抽取的表进行抽取设置。
image.png
在数据准备中,用户可以在输入节点切换数据连接的方式。
image.png
在数据模型中,用户可以在模型信息中切换数据连接的方式。
image.png
用户选择抽取,进入抽取设置界面后,可以设置抽取方式和执行计划。
image.png
另外,在项目中心,可以对所有的抽取任务进行统筹管理。详见数据任务管理
image.png

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈