摘要: 1. 概述重复数据检查是检查一张表内的重复数据。确保主数据唯一、指标可信的关键防线:它以唯一键、模糊匹配和归并规则为基准,实时或离线识别并消除“同一实体多次记录”带来的冗余与失真,从源头阻断虚[阅读全文:]
摘要: 1.概述逻辑检查是多个指标的逻辑检查,确保数据一致性、合理性和业务有效性的关键环节。它通过预定义的逻辑规则,对数据之间的内在关系进行验证,识别不符合业务逻辑或数据关系的问题,从而提升数据的可靠性和可用性[阅读全文:]
摘要: 1.概述波动检查用于检查指标值的波动范围是否在某个区间之内,即指标值的波动范围。以气源数据为例,气源数据表记录了进站燃气的基本信息,如图所示。其中对于燃气每日进站温差有不超过±2度的标准,接下来我们通过[阅读全文:]
摘要: 1.概述规范检查用于检查用于检查指标值的格式是否规范,支持身份证、手机号码、邮箱、日期等多种数据类型的检测。以人员信息为例,人员信息表记录了人员的基本信息,其中包含人员的固定电话联系方式。现我们将使用数[阅读全文:]