睿治
当前版本:2.7.2

质检结果表

1.概述

质检结果表用于存储质检后的结果数据,每个质检方案都有一张或多张质检结果表,涉及到的每张主题表都会对应一张质检结果表。模型是否启用Spark引擎对于质检结果表的存储方式有一点差异性。

本文将主要介绍如何管理质检结果表。

2.查看质检结果表

进入【质检方案】模块,点击方案操作栏中的【...】,选择【质检结果表】,打开到质检结果表列表页面。

不论模型是否启用Spark引擎查看质检结果表的功能入口都不变。

2.1 模型未启用Spark引擎

模型未启用Spark引擎,质检结果表主要分为主数据库表、历史数据库表、质检结果主题表。其中质检结果主题表同时映射主数据库表及历史数据库表,即主数据库表和历史数据库表的表结构将和质检主题表同步保持一致。 

方案质检后结果数据的存储逻辑是,最新执行的那期质检结果存储在主数据库表,历史时间执行的质检结果存储在历史数据库表。当同时选择N期执行时取N期中数据期最大一期结果数据存储在主数据库表。如此存储的目的是,最新一期质检结果的使用频率最高,提升最新一期质检结果的查看、分析效率。 

此时进入到质检结果表标签页后,可以清楚的看到页面分主题表显示了其质检结果表的相关信息。

点击数据库表名,可查看其数据。

点击质检结果主题表名,可查看其表结构。

质检结果表中会记录每一条参与检查的数据的通过状态。本例中,字段KEY_GUID_存储的是被检查主题表的主键字段值(这里被检查主题表的主键字段是GUID_字段),字段“RL_NULL_0”,存储的是NULL_0这条规则的通过状态。其中,0表示错误数据,且处于未处理状态;1表示例外数据;2表示已修复;3表示正确数据;9表示该数据未参与该规则的质检。

2.2 模型启用Spark引擎

模型启用Spark引擎,质检结果表主要分为质检结果表期表、质检结果主题表。其中质检结果主题表同时映射所有期质检结果表,即所有期质检结果表的表结构将和质检主题表同步保持一致。 
方案质检后结果数据的存储逻辑是,选择任意数据期执行质检方案,一期的质检结果数据将单独存储在一张数据库表上。如此存储的目的是,在大数据质检场景下,提升各期质检结果的查看、分析效率,控制单张质检结果表的大小保障数据质量模块功能的稳定性。 
此时进入到质检结果表标签页后,同样可以清楚的看到页面分主题表显示了其质检结果表的相关信息。同时在页面右上方存在一个数据期下拉框展示,选择指定数据期后,列表展示对应数据期的质检结果表库表。

数据期下拉框选择非叶子节点可查看该节点下所有期的质检结果表库表。

3.自定义字段

点击质检结果表名进入质检结果表编辑页面,这里可自定义质检结果表的字段。

:由于Hbase不支持直接修改数据库表表字段名称,受Hbase库特性影响,当模型启用Spark引擎时,模型存储库仅支持选择Hbase库,则已添加到质检结果主题表中的字段不允许修改字段名称。

3.1 添加规则涉及字段

通过【添加规则涉及字段】功能,可快速添加质检规则涉及的字段,如下图。

质检结果表

TIPS:【设置规则显示字段】

1.“规则”:这里列出的是质检规则所涉及到的字段。

2.“规则值”:将所有涉及字段值拼在一起进行显示。(如离职时间=;是否在职=)

3.“规则数据显示值”:质检规则的“数据显示”值。

3.2 添加字段

另外,也可以通过【添加】自定义字段。如给质检结果表增加工龄字段,工龄=当前年份-入职年份。

3.3 导入字段

如需批量增加自定义字段,可用【导入】功能,先“导出EXCEL模版”,按照模版要求填写后再进行“批量导入字段”。

3.4 同步被检查主题表字段

点击【同步】,可将被检查主题表中所有字段添加进来,大字段型和二进制型字段除外,已存在的字段除外。

需要注意,新增字段或者修改字段的表达式后,需要重新执行质检方案,数据才会更新过来。 

4.数据接口

4.1 模型未启用Spark引擎

平台提供了质检结果表的数据查询接口,供第三方系统调用。在质检结果表列表界面,点击【服务接口】,可查看接口相关信息。

4.2 模型启用Spark引擎

模型启用Spark引擎后,各期质检结果表会分库表存储,选择指定数据期查看服务接口时,接口地址自动带上数据期参数。

附件列表

0

文档内容仅供参考
如果您需要解决具体问题,还可以登录亿信社区
在提问求助板块提问,30分钟内帮您解决问题

如果您认为本词条还有待完善,请编辑

上一篇

下一篇数据分级分类

请先登录