摘要: 1.概述空值检查用于检查关键字段非空。以气源数据为例,气源数据主要记录进站燃气的基本信息,其中排序字段要求不能为空,为空则影响气源数据在系统中的排序。接下来我们将以数据质量-空值检查规则来检查排序字段是[阅读全文]
摘要: 1.定义数据资产是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数[阅读全文]
摘要: 1.概述系统内置了多张质量分析报告,方便用户从多角度查看数据质量情况。同时用户可基于质量系统库表,使用睿治平台的数据分析功能,自定义个性化的质检分析报告。本文以制作下图所示报表为例讲解如何自定义质量分析[阅读全文]
摘要: 1.概述评分卡用于为质检方案中的质检规则设置权重,可以创建多个评分卡,这样可以选择不同评分卡查看数据质量得分,即查看不同规则权重下的数据质量得分。2.新建评分卡进入质检方案下面的【评分卡】选项,默认自带[阅读全文]
摘要: 1.概述质检结果表用于存储质检后的结果数据,每个质检方案都有一张或多张质检结果表,涉及到的每张主题表都会对应一张质检结果表。模型是否启用Spark引擎对于质检结果表的存储方式有一点差异性。本文将主要介绍[阅读全文]
摘要: 1.概述对于质检出来无法智能修复的错误数据,用户可发起整改,相关人员收到整改任务后,进行整改直至数据质量达到要求。能发起数据整改的前提是质检方案绑定了整改流程,整改流程在工作流模块定义,本文将基于下图内[阅读全文]
摘要: 1.概述前面章节我们成功执行了质检方案,本章节我们将介绍如何查看质检结果,以及对异常数据进行智能修复。2.查看质检结果进入【质量监控】模块查看质检结果,选择“质检方案”“数据期”“数据级次”“主题表”后[阅读全文]
摘要: 1.概述在添加完所需质检规则后,即可开始创建质检方案。质检方案用于指定要执行的质检规则以及执行周期等。可以创建多个质检方案。自动或手动执行质检方案后就能得到质检结果。每个质检方案都有各自的质检结果。本文[阅读全文]
摘要: 1.概述主要介绍SQL脚本规则的使用,SQL脚本规则支持使用SQL语句及存储过程对质检数据进行质量检查。2. 操作步骤2.1 SQL语句检查通过SQL语句对质检主题表数据进行检查,需要在SQL[阅读全文]
摘要: 1.概述本文对各质检规则的共同属性进行说明介绍。2.业务规则可以按业务规则对质检规则进行分类。比如我们按数据质量的六个维度(完整性、一致性、规范性、有效性、准确性、及时性)将质检规则分类,则首先需要创建[阅读全文]
摘要: 1.概述本文将主要讲解在创建质量模型后,如何添加质检规则。质检规则既作为数据质量审核的逻辑校验标准,同时也是数据质量监控管理的基础,本文将讲解2种不同的新建规则方式。2.手动新建规则在【数据质量】的【质[阅读全文]
摘要: 1. 概述本文主要介绍如何创建质量模型。由于平台是基于主题表进行数据质量检查,故在创建质量模型之前,需先将待检查的库表创建为主题表,具体的主题表创建方法见【数据集】部分内容。需要注意的是,这里[阅读全文]