数据同步-目标表选择及其设置

最近更新时间:2021-03-23 14:45:08

查看PDF

Oracle 目标

当数据同步目标选择 Oracle 时,用户可以选择 insert into 和 insert overwrite 两种写入方式。

方式 说明
Insert into 每次运行进行数据追加。
Insert overwrite 每次运行时将表清空再写入。

HIVE 目标

当数据同步目标选择 HIVE 数据源时,用户可以进行 insert into 和 insert overwrite 写入。

方式 说明
Insert into 每次运行进行数据追加。
Insert overwrite 当表有分区时,将分区数据进行替换。当表没有分区时,直接将表清空再写入。

对象存储目标

当数据同步任务目标选择对象存储时,用户可以填入具体文件名称,名称可以填写变量。指定是否写入表头,确定写入文件格式等。写入方式为 append 和 overwrite。

方式 说明
Append 进行数据追加写入。
overwrite 每次运行时进行文件覆盖。

Redis 目标

当数据同步任务目标选择 Redis 时。

  • KeyIndexs,keyIndexs 的组成方式为源表名+源表字段组合而成,选择多个源表字段后需要用分隔符进行间隔,目前支持的分割符包括:冒号(:)、逗号(,)、分号(;)、竖线(|)。

  • 需要注意此处选择的字段为源表中的字段信息。

  • value type 设置:支持 string、list、set、hash 四种数据类型每种数据类型对应不同的写入方式。

    类型 写入方式
    String set
    List lpush、rpush
    Set sadd
    Hash hmset

写入方式:分为标准模式和 value 转 key 模式。
有效时间:用户可以对写入 redis 的数据设置有效时间。时间单位为小时。

HBase 目标

当数据同步目标选择 HBase 时,显示 HBase 的库表结构。

Elasticsearch 目标

当数据同步目标选择 Elasticsearch 时。
Doc id 生成方式。目前支持三种生成方式:拼接列、特定列、随机 UUID。

方式 说明
拼接列 选择源表的多个字段进行拼接,并选择分隔符。
特定列 选择源表的某个字段。
随机 UUID 使用随机数来做 doc id。

MySQL 目标

当数据同步目标选择 MySQL 时。用户可以选择写入方式:insert into 和 insert overwrite。

方式 说明
Insert into 每次运行进行数据追加。
Insert overwrite 每次运行时将表清空再写入。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

  • 内容不全,不深入
  • 内容更新不及时
  • 描述不清晰,比较混乱
  • 系统或功能太复杂,缺乏足够的引导
  • 内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈