数据源

最近更新时间:2022-07-21 07:11:54

查看PDF

新增InfluxDB、TiDB数据源

image.png

数据连接:新增支持设置Spark数据源抽取

为达到性能优化,对hive、impala数据源,数据连接新增支持通过SPARK数据源进行数据抽取、数据准备、数据导出。用户可以在数据连接-基本信息下的高级设置内开启。
image.png

PrestoDB数据连接新增Kerboros认证方式

PrestoDB数据连接新增Kerboros认证方式支持,用户名密码连接方式改造。
image.png

三级标题impala数据源支持jdbc:impala驱动模式

当数据连接选择Apache Impala时,可以设置驱动,选择hive或impala。
image.png
当选择impala时,需要输入URL。
image.png

度量字段支持分类

在旧版本只支持对维度字段进行分类的基础上,新版本中对于度量字段也支持分类,同步将【维度分类】改名为【字段分类】

支持在数据连接—字段分类中添加分类,数据模型中批量编辑字段时,可对于度量字段选择分类

同时在数据模型中针对字段展示区域增加选项【按字段分类显示】【按表分类显示】,可按照已选的字段分类展示

image.png

image.png

image.png

数据准备:新增行转列节点,支持将行数据转化为可分析的列字段

在数据准备的清洗节点后,增加行转列节点。
image.png
拖入要转置的字段,可以添加或删除字段中显示的数值,并拖入聚合字段,可以选择聚合方式。
image.png
就可以将该数值作为列名显示。
image.png

数据准备:字符串、数值类型字段增加值替换功能,支持替换原有数据中不符合规范的数据,完成数据归一

对于字符串和数值类型的字段,可以进行值替换。
image.png
选择数据关系、原数值和替换值可以进行值替换。
image.png

数据准备:输入节点支持直连模式,用户可以直接基于原有数据完成ETL任务,有数会将部分查询智能下推到数据库执行操作,提高效率

数据准备:日期类型支持数据筛选

对于日期类型的字段可以选择数据筛选,
image.png
点击之后可以进行时间范围的筛选。
image.png

数据准备:其他优化以及交互体验改进

数据准备:新增开发模式:用户可以先将数据准备编辑好之后,再发布到线上;

数据准备:优化整个工作链路:数据连接处支持跳转到数据准备,数据准备页面支持直接跳转到模型编辑;

数据准备:新增外部输出节点:支持将数据输出到DorisDB、GreenPlum、ClickHouse三种数据库中;

数据准备:聚合节点:日期字段作为分组依据时,支持调整数据粒度;

数据准备:优化「行转列」节点,可识别空值,将所有空值设为一列。

数据准备:优化支持字段右键唤起清洗功能操作。

数据准备:新增统计视图功能

(1)每一个节点下,每一个字段以单独的卡片呈现,包含字段类型、名称、去重值、排序、更多操作,可以了解整个数据的统计规律

image.png

(2)除输入、内部输出、外部输出三个节点,点击其他节点中的柱子进行数值替换。
image.png

数据准备:设置执行计划迁移、新增查看执行记录

(1)线上模式下新增设置执行计划、查看执行记录、立即执行功能。开发模式输出节点不再支持执行计划功能。
image.png
(2)具有编辑权限的用户可设置执行计划、查看执行记录、立即执行功能。阅览权限用户只可查看执行记录。

数据准备:整体画布和节点配置异常优化

数据准备:优化中间节点

(1) 聚合节点新增自定义聚合字段功能
用户可以通过编写计算字段进行自定义聚合。
image.png
(2) 字符串、日期类型字段聚合新增最大值、最小值运算
image.png
(3)统计视图数值与日期字段新增空值显示
为帮助用户识别数据的分布规律,统计视图新增空分桶数据显示。
image.png

数据准备:优化执行计划依赖执行功能

优化依赖执行逻辑:当依赖的输入节点处于抽取模式,且完成数据任务时;依赖输入节点处于直连模式,获取到数据产出消息时,输出节点开始执行任务。

数据准备:新增支持字段分类添加多层级

在数据准备-字段分类中,用户新建字段时可以为字段添加父级字段。
image.png
用户也可以通过编辑操作对已有字段的父级字段进行设置。
image.png
用户也可以通过添加操作为父级字段新建子级字段。
image.png
字段分类最多支持4级层级关系

数据模型:编辑状态优化为沉浸模式

字段分类支持手动改变排序

数据模型中选择按字段分类展示字段时,支持手动拖拽字段进行排序并切换分类

image.png

数据字典支持手动增加字段

新增【增加字典】功能,用户可以将数据库中未来会增加的数据预先设置在字典中,创建图表时,若数据库中有与之匹配的数据,则使用对应的别名

点击新增字典后,在首行新增输入框,可以输入原名及别名,原名及别名不允许重名,选择后方“x”号,可以进行整行删除

image.png

数据连接、数据模型支持引用全局参数

数据源为Restful API、自定义API时,参数配置支持引用全局参数,输入#可引用全局参数,下拉中展示当前用户拥有查看权限的参数列表,可点击参数右侧箭头,点击【详情】可查看对应参数设置详情

参数设置参见参数

image.png

数据模型设置页面,选择添加【自定义视图】时,SQL语句中使用#唤起全局参数的下拉框,若设置全局参数后不建议抽取

image.png

数据模型支持更多类型的表关联

创建数据模型时,支持“等于、不等于、小于、小于等于、大于、大于等于”关系的表关联。详情请见建立模型

image.png

优化icon

在数据模型和数据连接页面,优化了数据连接、数据模型详情的
image.png

依赖抽取增加设置项选择定时任务是否生效;

打开数据模型,点击抽取设置,在抽取设置中的下方可以选择是否同时支持定时任务。 “>
image.png

image.png

完善依赖抽取的提示文案;

数据模型:优化界面批量编辑

(1) 批量设置数据格式新增维度/度量全选
image.png
(2) 批量编辑字段新增搜索功能:可根据字段原名、别名进行搜索
image.png

数据模型增加缓存有效期设置

入口:数据源-数据模型编辑-[缓存有效期]

开启后,可对缓存时间进行设置,时间单位包括时、分、秒

缓存规则:

首次访问后会对数据进行缓存,缓存有效期内,再次访问会直接访问缓存数据。当到达缓存失效时间点后,缓存被丢弃,之后再访问时,则需重新访问数据库获取数据并重新缓存。

示例:若首次访问时间为“08时36分”,缓存有效期设置为“3小时”,则缓存的数据会在下一个三小时整数倍时间点失效,即“09时00分”失效。若缓存有效期设置为“6小时”,则缓存的数据会在下一个六小时整数倍时间点失效,即“12时00分”失效。若缓存有效期设置为“24小时”,则当日首次访问后缓存的数据,会在当日凌晨00时00分失效,这期间查看报表都会访问缓存数据。

image.png

数据抽取的禁用规则可设置:抽取数据量连续N次超过X万

项目中心-抽取管理-设置禁用规则:“抽取数据量连续n次超过x万”

设置后,满足抽取规则时,抽取任务被禁用

image.png
image.png

数据模型支持添加二级文件夹

数据源-数据模型列表一级文件夹下拉选项增加【新建文件夹】,可对所建的模型进一步细分归类

注意事项:有该一级文件夹新增权限的用户才可以【新建文件夹】

image.png

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈