数据同步-目标表选择及其设置

Oracle 目标

当数据同步目标选择 Oracle 时，用户可以选择 insert into 和 insert overwrite 两种写入方式。

方式	说明
Insert into	每次运行进行数据追加。
Insert overwrite	每次运行时将表清空再写入。

HIVE 目标

当数据同步目标选择 HIVE 数据源时，用户可以进行 insert into 和 insert overwrite 写入。

方式	说明
Insert into	每次运行进行数据追加。
Insert overwrite	当表有分区时，将分区数据进行替换。当表没有分区时，直接将表清空再写入。

对象存储目标

当数据同步任务目标选择对象存储时，用户可以填入具体文件名称，名称可以填写变量。指定是否写入表头，确定写入文件格式等。写入方式为 append 和 overwrite。

方式	说明
Append	进行数据追加写入。
overwrite	每次运行时进行文件覆盖。

Redis 目标

当数据同步任务目标选择 Redis 时。

• KeyIndexs，keyIndexs 的组成方式为源表名+源表字段组合而成，选择多个源表字段后需要用分隔符进行间隔，目前支持的分割符包括:冒号(：)、逗号（，）、分号（；）、竖线（|）。

• 需要注意此处选择的字段为源表中的字段信息。

• value type 设置：支持 string、list、set、hash 四种数据类型每种数据类型对应不同的写入方式。

  类型	写入方式
  String	set
  List	lpush、rpush
  Set	sadd
  Hash	hmset

写入方式：分为标准模式和 value 转 key 模式。
有效时间：用户可以对写入 redis 的数据设置有效时间。时间单位为小时。

HBase 目标

当数据同步目标选择 HBase 时，显示 HBase 的库表结构。

Elasticsearch 目标

当数据同步目标选择 Elasticsearch 时。
Doc id 生成方式。目前支持三种生成方式：拼接列、特定列、随机 UUID。

方式	说明
拼接列	选择源表的多个字段进行拼接，并选择分隔符。
特定列	选择源表的某个字段。
随机 UUID	使用随机数来做 doc id。

MySQL 目标

当数据同步目标选择 MySQL 时。用户可以选择写入方式：insert into 和 insert overwrite。

方式	说明
Insert into	每次运行进行数据追加。
Insert overwrite	每次运行时将表清空再写入。