数据质量

数据质量模块当前支持对Oracle、Hive、MySQL等关系型数据库进行质量检核。提供质量规则配置、质量任务查询、质量告警管理等功能。

规则配置

当前质量规则配置提供五种技术检核算子和五种业务检核算子。只有企业版支持配置业务检核。目前支持取值范围检查、取值约束配置、数据格式检查、非空检查、唯一性检查等。具体说明说下：
技术检核

检核算子	算子级别	算子说明
乱码检查	字段级	检核字符串类型的字段中是否含有乱码，有乱码的话将乱码替换为自定义的字符串
转义字符检查	字段级	检核字符串类型的字段中是否含有转义字符，有的话将转义字符替换为自定义的字符串，默认替换为空格。
内容长度检查	字段级	检核字符串类型、整型、浮点型字段内容长度是否超过类型定义的最大长度，超过则拒绝数据写入。
内容格式检查	字段级	检核日期、时间类型字段的格式是否正确，不匹配的数据则拒绝写入。
内容范围检查	字段级	检核字符串类型的字段是否包含规定以外的内容，如仅包含数字、仅包含字母、仅包含数据和字母，不满足条件产生告警。

操作说明如下：

1. 新建规则
   业务人员、开发人员可以新建规则。菜单切换到数据质量下面的规则配置，点击【新增规则】按钮弹出创建规则配置框。

2. 规则试运行
   当前版本发布的业务检核规则支持试运行，用生产的几条数据进行试跑，可以批量试运行。试运行成功点击【试运行成功！点击查看结果】链接可以跳转到质量查询页面进行查看。

3. 规则发布
   新建的规则发布后才能生效，点击发布后，确认即可发布成功。

4. 规则下线
   不用的规则可以下线。点击下限，确认后即可下线该规则。

5. 规则修改、删除
   未发布的规则支持修改和删除；已发布的规则支持修改阈值和告警信息。

6. 规则查看
   展开左侧的目录树，可以根据表或字段查看该表下所有字段或当前字段配置的所有规则。

质量查询

当前版本质量规则在数据管理的质量模块发布之后需要到数据集成去使用规则。数据集成的同步、加工任务会根据需求运行相关的检核规则，并生成质量检核任务。成功运行的质量检核任务会同步到数据管理的质量查询页面，该页面按照任务维度展示检核结果，可查看具体某次检核任务的质量检核结果。

1. 质量任务可以按照任务状态、数据源类型、数据源名称、所属项目、任务类型、业务时间、执行时间进行过滤，按具体的表或任务ID进行搜索。

2. 定位到的质量任务支持点击操作列的【详情】按钮查看详情。

3. 详情里展示了该任务跑的具体有哪些规则，以及规则相关的一些配置信息和每条规则在本次任务检核中检测到的异常数据，点击异常数据列的具体数字可查看具体的异常数据。

4. 每个任务的每条规则支持查看历史检核结果。点击操作列【历史结果】按钮弹出历史结果框。

质量告警

质量检核任务产生的告警信息统一在质量告警页面展现。可通过勾选【只看失败告警】查看发送失败的告警记录。也可通过告警级别、告警ID、规则名称、告警接收人搜索具体的告警信息。