摘要: 1.概述波动检查用于检查指标值的波动范围是否在某个区间之内,即指标值的波动范围。以气源数据为例,气源数据表记录了进站燃气的基本信息,如图所示。其中对于燃气每日进站温差有不超过±2度的标准,接下来我们通过[阅读全文]
摘要: 1.概述规范检查用于检查用于检查指标值的格式是否规范,支持身份证、手机号码、邮箱、日期等多种数据类型的检测。以人员信息为例,人员信息表记录了人员的基本信息,其中包含人员的固定电话联系方式。现我们将使用数[阅读全文]
摘要: 1.概述值域检查用于检查关键字段的取值范围,支持数值型、字符型、日期型字段检查。以用户供气数据为例,用户数据表记录各个用户供气的信息,如图所示。其中用气分类的值需要保证在已知的分类范围内,接下我们将使用[阅读全文]
摘要: 1.概述空值检查用于检查关键字段非空。以气源数据为例,气源数据主要记录进站燃气的基本信息,其中排序字段要求不能为空,为空则影响气源数据在系统中的排序。接下来我们将以数据质量-空值检查规则来检查排序字段是[阅读全文]
摘要: 1.概述主要介绍SQL脚本规则的使用,SQL脚本规则支持使用SQL语句及存储过程对质检数据进行质量检查。2. SQL语句检查 通过SQL语句对质检主题表数据进行检查,需要在SQL语句中定义好数[阅读全文]
摘要: 1.概述本文对各质检规则的共同属性进行说明介绍。2.业务规则可以按业务规则对质检规则进行分类。比如我们按数据质量的六个维度(完整性、一致性、规范性、有效性、准确性、及时性)将质检规则分类,则首先需要创建[阅读全文]
摘要: 1.概述本文将主要讲解在创建质量模型后,如何添加质检规则。质检规则既作为数据质量审核的逻辑校验标准,同时也是数据质量监控管理的基础,本文将讲解2种不同的新建规则方式。2.手动新建规则在【数据质量】的【质[阅读全文]
摘要: 1. 概述本文主要介绍如何创建质量模型。由于平台是基于主题表进行数据质量检查,故在创建质量模型之前,需先将待检查的库表创建为主题表,具体的主题表创建方法见【数据集】部分内容。需要注意的是,这里[阅读全文]
摘要: 数据质量相关操作流程大致如下,可分为5步:1)第一步,创建质量模型 质量模型是用户进行数据质量分析的基本单元,这里包括新建质量模型和添加待检测的主题[阅读全文]
摘要: 新建标准集标准集是标准的集合,通常会把相同类型相同管理流程的数据标准归到一个标准集中。标准集可以约定这些标准的属性,并统一管理这些属性。新建标准前,必须新建标准集。操作步骤分为4大步:新建标准集;设置标[阅读全文]
摘要: 标准文档管理用于存储和管理标准相关文档,支持上传、下载、在线预览等。在标准中可链接到标准文档。新建分组:点击【新建分组】可创建分组,便于用户分类管理,如下图:上传:上传可以选择直接在根目录上传,也可以在[阅读全文]
摘要: 前面的章节我们已经在最新标准模块建好了标准集和数据标准,接下来我们来发布该标准集,生成定版标准。发布标准时需要审批,审批通过才会生成定版标准。在定版标准模块,只能查看标准,不能增删改标准,但能以标准集为[阅读全文]
摘要: 在前面的章节,我们新建了标准集“基础数据标准”,并且设置了编码规则,本章节我们来讲解如何在标准集中新建标准。1.手动创建标准在【数据标准】-【数据标准管理】-【最新标准】模块,选择标准集点击【新建】。在[阅读全文]
摘要: 我们在维护标准时发现:手动输入标准编号着实繁琐又容易出错,那么能不能让系统为整个标准集自动编号呢?答案是可以的,配置管理中的编码规则管理就是做这项工作的。下面我们以给标准集“基础数据标准”创建编码规则为[阅读全文]
摘要: 数据标准是对数据的命名、数据类型、长度、计算口径、归属部门等,定义一套统一的规范,保证各业务系统对数据的统一理解,对数据定义和使用的一致性。数据标准检索【数据标准检索】模块主要提供数据标准检索和查询功能[阅读全文]
摘要: 数据标准是对数据的命名、数据类型、长度、计算口径、归属部门等,定义一套统一的规范,保证各业务系统对数据的统一理解,对数据定义和使用的一致性。【管理价值】标准的统一制定与管理:保证数据定义和使用的一致性,[阅读全文]
摘要: 可针对定时调度、实时调度的执行运行情况按周期进行统计。1.定时调度执行过的调度总数:检查调度任务中组件的输入输出数据源是否为当前数据源系统下,是则纳入统计范围,同时根据调度运行时间按周期进行定时调度总数[阅读全文]
摘要: 对数据源、数据整合以及调度平台下的资源进行监控,可全局掌握资源运行状态。监控范围包括:(1)数据源系统下各类型数据源的连通性(2)任务流调度、实施调度的启用/禁用个数统计(3)任务流调度、实时调度的执行[阅读全文]