最近更新时间:2023-02-08 10:31:16
为达到性能优化,对hive、impala数据源,数据连接新增支持通过SPARK数据源进行数据抽取、数据准备、数据导出。用户可以在数据连接-基本信息下的高级设置内开启。
PrestoDB数据连接新增Kerboros认证方式支持,用户名密码连接方式改造。
当数据连接选择Apache Impala时,可以设置驱动,选择hive或impala。
当选择impala时,需要输入URL。
在旧版本只支持对维度字段进行分类的基础上,新版本中对于度量字段也支持分类,同步将【维度分类】改名为【字段分类】
支持在数据连接—字段分类中添加分类,数据模型中批量编辑字段时,可对于度量字段选择分类
同时在数据模型中针对字段展示区域增加选项【按字段分类显示】【按表分类显示】,可按照已选的字段分类展示
在数据准备的清洗节点后,增加行转列节点。
拖入要转置的字段,可以添加或删除字段中显示的数值,并拖入聚合字段,可以选择聚合方式。
就可以将该数值作为列名显示。
对于字符串和数值类型的字段,可以进行值替换。
选择数据关系、原数值和替换值可以进行值替换。
对于日期类型的字段可以选择数据筛选,
点击之后可以进行时间范围的筛选。
(1)每一个节点下,每一个字段以单独的卡片呈现,包含字段类型、名称、去重值、排序、更多操作,可以了解整个数据的统计规律
(2)除输入、内部输出、外部输出三个节点,点击其他节点中的柱子进行数值替换。
(1)线上模式下新增设置执行计划、查看执行记录、立即执行功能。开发模式输出节点不再支持执行计划功能。
(2)具有编辑权限的用户可设置执行计划、查看执行记录、立即执行功能。阅览权限用户只可查看执行记录。
(1) 聚合节点新增自定义聚合字段功能
用户可以通过编写计算字段进行自定义聚合。
(2) 字符串、日期类型字段聚合新增最大值、最小值运算
(3)统计视图数值与日期字段新增空值显示
为帮助用户识别数据的分布规律,统计视图新增空分桶数据显示。
优化依赖执行逻辑:当依赖的输入节点处于抽取模式,且完成数据任务时;依赖输入节点处于直连模式,获取到数据产出消息时,输出节点开始执行任务。
在数据准备-字段分类中,用户新建字段时可以为字段添加父级字段。
用户也可以通过编辑操作对已有字段的父级字段进行设置。
用户也可以通过添加操作为父级字段新建子级字段。
字段分类最多支持4级层级关系
数据模型中选择按字段分类展示字段时,支持手动拖拽字段进行排序并切换分类
新增【增加字典】功能,用户可以将数据库中未来会增加的数据预先设置在字典中,创建图表时,若数据库中有与之匹配的数据,则使用对应的别名
点击新增字典后,在首行新增输入框,可以输入原名及别名,原名及别名不允许重名,选择后方“x”号,可以进行整行删除
数据源为Restful API、自定义API时,参数配置支持引用全局参数,输入#可引用全局参数,下拉中展示当前用户拥有查看权限的参数列表,可点击参数右侧箭头,点击【详情】可查看对应参数设置详情
参数设置参见参数
数据模型设置页面,选择添加【自定义视图】时,SQL语句中使用#唤起全局参数的下拉框,若设置全局参数后不建议抽取
创建数据模型时,支持“等于、不等于、小于、小于等于、大于、大于等于”关系的表关联。详情请见建立模型
打开数据模型,点击抽取设置,在抽取设置中的下方可以选择是否同时支持定时任务。 “>
(1) 批量设置数据格式新增维度/度量全选
(2) 批量编辑字段新增搜索功能:可根据字段原名、别名进行搜索
入口:数据源-数据模型编辑-[缓存有效期]
开启后,可对缓存时间进行设置,时间单位包括时、分、秒
缓存规则:
首次访问后会对数据进行缓存,缓存有效期内,再次访问会直接访问缓存数据。当到达缓存失效时间点后,缓存被丢弃,之后再访问时,则需重新访问数据库获取数据并重新缓存。
示例:若首次访问时间为“08时36分”,缓存有效期设置为“3小时”,则缓存的数据会在下一个三小时整数倍时间点失效,即“09时00分”失效。若缓存有效期设置为“6小时”,则缓存的数据会在下一个六小时整数倍时间点失效,即“12时00分”失效。若缓存有效期设置为“24小时”,则当日首次访问后缓存的数据,会在当日凌晨00时00分失效,这期间查看报表都会访问缓存数据。
项目中心-抽取管理-设置禁用规则:“抽取数据量连续n次超过x万”
设置后,满足抽取规则时,抽取任务被禁用
数据源-数据模型列表一级文件夹下拉选项增加【新建文件夹】,可对所建的模型进一步细分归类
注意事项:有该一级文件夹新增权限的用户才可以【新建文件夹】
纯净模式