1.概述
前面章节我们成功执行了质检方案,本章节我们将介绍如何查看质检结果,以及对异常数据进行智能修复。
2.查看质检结果
进入【质量监控】模块查看质检结果,选择“质检方案”“数据期”“数据级次”“主题表”后即可查看相应的质检结果。这里分规则显示了检查数据量、错误数据量、例外数据量、修复数据量。
查看错误明细数据: 点击错误合计、例外合计、已修复合计或查看按钮,可跳转至错误数据明细列表。其中错误合计跳转至明细数据页面时,自动过滤出数据状态为“未处理”的数据;例外合计跳转至明细数据页面时,自动过滤出数据状态为“例外”的数据;已修复合计则过滤状态为“已修复”的数据;点击查看跳转时则同时显示“未处理”、“例外”、“已修复”数据。
当模型未启用Saprk引擎时,从质量监控页面选择非叶子数据期,查看错误数据明细列表,列表显示当前节点下所有期数据。
当模型已启用Spark引擎时,从质量监控页面选择非叶子数据期,查看错误数据明细列表,列表模型展示非叶子节点下最大数据期的明细数据,同时可通过数据期下拉框参数切换查看其他数据期下的明细数据。
3.添加例外
在错误数据列表中可对部分错误数据进行“添加例外”,从错误数据中移除,后续质检分析、质检方案绩效计算时都不会将例外数据视为错误数据。
比如将第一条数据添加例外,如下图。
添加完例外后,该条数据被移出错误列表,进入例外数据列表。
在明细数据中过滤出例外数据,并点击取消例外按钮进行取消例外。
4.智能修复
另外,对于部分类型的错误数据,可添加修复策略,自动修复。目前只有空值检查、值域检查和规范检查(二代身份证、全角、半角、日期型)这3类质检支持智能修复。这里,我们以修复空值为例。
1)添加修复策略
首先,需要添加修复策略。在质量监控主页面,点击【编辑修复策略】,进入编辑规则界面。
编辑页面配置修复策略,空值检查规则支持的修复策略包括有平均值、最大频次值、指定值。
这里,我们需要将空值填充为01000.80054200030I001,可设置修复策略为“指定值”。
Tips: 1)若该规则为值域检查,可填写修复表达式(只能填写常量):
2)若该规则为规范检查,规范类型为二代身份证、全角半角、日期型时才会出现修复设置。规范类型为“日期型”的修复设置如下(错误数据将按修复策略选择的指定格式进行修复):
规范类型为“二代身份证”的修复设置如下:
规范类型为“全角”或“半角”的修复设置如下:
|
2)执行智能修复
编辑完修复策略后,接着执行智能修复。勾选需要智能修复的规则(可勾选多个),点击【智能修复】-【确定】。
在弹出的对话框中勾选【修复后重新执行方案】,然后点击【确定】,开始自动修复。不勾选【修复后重新执行方案】则仅修改数据库表数据,不同步质检方案结果。
成功修复完成后,刷新质量监控页面,这条规则的错误数据就变成了0,同时当质检方案勾选了【记录数据修复状态】时,将计算本次执行相较上次执行哪些错误数据得到了正确修复,统计值定义为【已修复合计】的值。
5.增加显示列
质量监控模块的错误数据列表中默认只展示了数据的关键字字段,不能直接看出具体的错误字段值。平台支持给列表增加列,以显示更多字段信息。

比如上图检查的是员工信息表中【离职时间】不为空时,【是否在职】应为0(0表示否,1表示是)。这里我们给该错误数据列表增加3列,分别显示离职时间、是否在职和工龄,具体操作如下:
在【质检方案】模块,点击需设置质检方案后方的“...”,选择“质检结果表”,打开到质检结果表列表页面。


每个主题表都有一张质检结果表,这里,我们需要编辑的是员工信息表的质检结果表,点击质检结果表名,进入质检结果表编辑页面。


点击【设置规则显示字段】,勾选规则涉及的字段:LZSJ(离职时间)和SFZZ(是否在职)。

TIPS:【设置规则显示字段】 1.“规则”:这里列出的是规则所涉及到的字段。(如离职时间,是否在职) 2.“规则值”:将所有涉及字段值拼在一起进行显示。(如离职时间=;是否在职=)
3.“规则数据显示值”:规则的“数据显示”值。
|
我们可以发现,上述字段中并不包含“工龄“,这时可通过【添加】自定义字段,具体操作如下:

最后【保存】,完成质检结果表的编辑。
重新执行该质检方案后查看质检结果表,添加的列就出现了。

6.设置高亮字段
在错误数据列表界面,默认高亮显示检查字段的值,如下图。

如果想添加其他高亮字段,需在【规则】的【设置字段】中编辑,手动将质检结果表中的字段添加,如下图。

添加后质量监控详情界面效果如下图。

7.模型启用/禁用Spark引擎
7.1 启用
质量模型启用Spark引擎,前往质量模型-质量监控页面,勾选指定规则后点击【导出错误明细】按钮,弹出导出错误明细弹框。
导出错误明细弹框配置的默认导出数据量为100,参数自定义修改,最大值为10万。
点击确定后仅导出设定值的错误数据。
注:此时配置的导出错误数据量不受数据源的动态参数影响。
7.2 未启用
质量模型未启用Spark引擎,前往质量模型-质量监控页面,勾选指定规则后点击【导出错误明细】按钮。
可导出指定规则的完整的明细数据。






请先登录