最近更新时间:2021-09-28 17:11:09
如果你有几百万行的Excel数据。这时候可能你的excel可能无法上传至平台,或者无法在平台上面分析,此时就必须使用平台的抽取功能,将Excel数据转化为关系型数据库数据。
可以建议使用以下方法:
首先观察excel 有几个sheet 页。Excel的每一个sheet页在平台里会映射为独立的一张表。
1.单个Excel过于巨大的时候,需要拆分为多个Excel(一般不建议单个Excel超过50m)。
如一个excel 有20个sheet 页,可以把一个excel 文件分成多个excel文件,每个文件放几个sheet 页。
然后新建多个数据连接去连接这些Excel。
之后在数据模型里引用这些数据连接的表,并设置为抽取模式。
2.还有一种情况,一个sheet页里面数据量太大。这时建议把一个sheet页分为多份Excel(保证分出来的Excel仍然拥有同样的表头)。
之后在数据模型里引用这些数据连接的表,并设置为抽取模式,同时因为这些表都具有相同的表头,在模型层使用union的方法将数据再合并在一起。
3.根据方法2延伸出来的场景,如果是多个Excel,也可以分开建立数据连接,最后在模型层进行union或者join处理。
拓展内容:
跨数据连接建模怎么做?
纯净模式