结合多年数据处理行业经验,沉淀固化通用数据整合模型,将贴源数据的处理过程从繁复的代码逻辑中解放,仅需简单配置既可完成复杂贴源数据整合。
-
进入【项目空间】>【我的项目】,点击项目名称进入大数据开发套件。
-
点击进入【数据开发】>【离线作业开发】。
-
选择【任务开发】,点击
,新建一个作业流。

- 双击作业流,进入作业流开发面板,拖拽【数据整合】插件,输入节点名称,生成一个数据整合作业。

- 双击打开新建的数据整合作业,进入数据整合开发面板。在数据整合面板中可以选择需要应用的数据整合算法,目前数据整合算法包括:全量切片、增量切片、拉链/指定字段拉链、当前表、当前全量表。用户可根据需求选择不同类型整合算法。


- 确定好使用的拉链表后,选择一个应用数据源,目前数据整合算法仅支持MPP数据源。

- 确定好数据源后,选择应用算法的源表和目标表,每种算法在应用时目标表会比源表多一定的特定字段,除了新增的特定字段外,其他字段需要完全保持一致。
如果选取字段不一致界面将提示进行表字段调整。
