摘要: 1. 概述平衡性检查用于检查数据的误差是否在允许范围内:核心通过计算左右两侧表达式数值,校验其差值是否处于允许范围,属准确性检测范畴。可验证数据间关联平衡逻辑,识别数值失衡问题,保障数据逻辑一[阅读全文:]
摘要: 1. 概述离群值检查用于检查数据中有一个或几个数值与其他数值相比差异较大:旨在识别显著偏离数据集整体分布的异常数据。其支持拉依达法、格鲁布斯法等算法,通过界定合理数值范围,标记超出范围的极端值[阅读全文:]
摘要: 1. 概述引用完整性检查用于检查相对比招表数据是否有效:核心校验目标字段数据是否存在于比照表中,即子表外键值需匹配父表主键值或为 NULL,可识别悬空外键,防止无效数据产生,维护表间关联逻辑一[阅读全文:]
摘要: 1. 概述记录缺失检查用于检查相对比照表数据的完整性:自动比照表字段与目标字段,精准识别数据缺失情况,并生成详尽报告,助力企业及时发现数据缺失问题,保障数据完整性,提升数据质量。以销售数据为例[阅读全文:]
摘要: 1. 概述及时性检查用于检查数据上报的及时性,确保数据上报“零迟到”的核心机制:它依据业务定义的时效窗口,实时对比每条记录的上报时间与期望到达时间,一旦延迟超阈值即触发告警、拦截或补录,从源头[阅读全文:]
摘要: 1. 概述重复数据检查是检查一张表内的重复数据。确保主数据唯一、指标可信的关键防线:它以唯一键、模糊匹配和归并规则为基准,实时或离线识别并消除“同一实体多次记录”带来的冗余与失真,从源头阻断虚[阅读全文:]
摘要: 1.概述逻辑检查是多个指标的逻辑检查,确保数据一致性、合理性和业务有效性的关键环节。它通过预定义的逻辑规则,对数据之间的内在关系进行验证,识别不符合业务逻辑或数据关系的问题,从而提升数据的可靠性和可用性[阅读全文:]
摘要: 1.概述质检结果表用于存储质检后的结果数据,每个质检方案都有一张或多张质检结果表,涉及到的每张主题表都会对应一张质检结果表。模型是否启用Spark引擎对于质检结果表的存储方式有一点差异性。本文将主要介绍[阅读全文:]