摘要: 1.概述系统内置了多张质量分析报告,方便用户从多角度查看数据质量情况。同时用户可基于质量系统库表,使用睿治平台的数据分析功能,自定义个性化的质检分析报告。本文以制作下图所示报表为例讲解如何自定义质量分析[阅读全文]
摘要: 1.概述对于质检出来无法智能修复的错误数据,用户可发起整改,相关人员收到整改任务后,进行整改直至数据质量达到要求。能发起数据整改的前提是质检方案绑定了整改流程,整改流程在工作流模块定义,本文将基于下图内[阅读全文]
摘要: 1.概述评分卡用于为质检方案中的质检规则设置权重,可以创建多个评分卡,这样可以选择不同评分卡查看数据质量得分,即查看不同规则权重下的数据质量得分。2.新建评分卡进入质检方案下面的【评分卡】选项,默认自带[阅读全文]
摘要: 1.概述质检结果表用于存储质检后的结果数据,每个质检方案都有一张或多张质检结果表,涉及到的每张主题表都会对应一张质检结果表。模型是否启用Spark引擎对于质检结果表的存储方式有一点差异性。本文将主要介绍[阅读全文]
摘要: 1.概述前面章节我们成功执行了质检方案,本章节我们将介绍如何查看质检结果,以及对异常数据进行智能修复。2.查看质检结果进入【质量监控】模块查看质检结果,选择“质检方案”“数据期”“数据级次”“主题表”后[阅读全文]
摘要: 1.概述在添加完所需质检规则后,即可开始创建质检方案。质检方案用于指定要执行的质检规则以及执行周期等。可以创建多个质检方案。自动或手动执行质检方案后就能得到质检结果。每个质检方案都有各自的质检结果。本文[阅读全文]
摘要: 1.概述波动检查用于检查指标值的波动范围是否在某个区间之内,即指标值的波动范围。以气源数据为例,气源数据表记录了进站燃气的基本信息,如图所示。其中对于燃气每日进站温差有不超过±2度的标准,接下来我们通过[阅读全文]
摘要: 1.概述规范检查用于检查用于检查指标值的格式是否规范,支持身份证、手机号码、邮箱、日期等多种数据类型的检测。以人员信息为例,人员信息表记录了人员的基本信息,其中包含人员的固定电话联系方式。现我们将使用数[阅读全文]
摘要: 1.概述值域检查用于检查关键字段的取值范围,支持数值型、字符型、日期型字段检查。以用户供气数据为例,用户数据表记录各个用户供气的信息,如图所示。其中用气分类的值需要保证在已知的分类范围内,接下我们将使用[阅读全文]
摘要: 1.概述空值检查用于检查关键字段非空。以气源数据为例,气源数据主要记录进站燃气的基本信息,其中排序字段要求不能为空,为空则影响气源数据在系统中的排序。接下来我们将以数据质量-空值检查规则来检查排序字段是[阅读全文]
摘要: 1.概述主要介绍SQL脚本规则的使用,SQL脚本规则支持使用SQL语句及存储过程对质检数据进行质量检查。2. SQL语句检查 通过SQL语句对质检主题表数据进行检查,需要在SQL语句中定义好数[阅读全文]
摘要: 1.概述本文对各质检规则的共同属性进行说明介绍。2.业务规则可以按业务规则对质检规则进行分类。比如我们按数据质量的六个维度(完整性、一致性、规范性、有效性、准确性、及时性)将质检规则分类,则首先需要创建[阅读全文]
摘要: 1.概述本文将主要讲解在创建质量模型后,如何添加质检规则。质检规则既作为数据质量审核的逻辑校验标准,同时也是数据质量监控管理的基础,本文将讲解2种不同的新建规则方式。2.手动新建规则在【数据质量】的【质[阅读全文]
摘要: 1. 概述本文主要介绍如何创建质量模型。由于平台是基于主题表进行数据质量检查,故在创建质量模型之前,需先将待检查的库表创建为主题表,具体的主题表创建方法见【数据集】部分内容。需要注意的是,这里[阅读全文]
摘要: 数据质量相关操作流程大致如下,可分为5步:1)第一步,创建质量模型 质量模型是用户进行数据质量分析的基本单元,这里包括新建质量模型和添加待检测的主题[阅读全文]
摘要: 新建标准集标准集是标准的集合,通常会把相同类型相同管理流程的数据标准归到一个标准集中。标准集可以约定这些标准的属性,并统一管理这些属性。新建标准前,必须新建标准集。操作步骤分为4大步:新建标准集;设置标[阅读全文]
摘要: 标准文档管理用于存储和管理标准相关文档,支持上传、下载、在线预览等。在标准中可链接到标准文档。新建分组:点击【新建分组】可创建分组,便于用户分类管理,如下图:上传:上传可以选择直接在根目录上传,也可以在[阅读全文]
摘要: 前面的章节我们已经在最新标准模块建好了标准集和数据标准,接下来我们来发布该标准集,生成定版标准。发布标准时需要审批,审批通过才会生成定版标准。在定版标准模块,只能查看标准,不能增删改标准,但能以标准集为[阅读全文]