重复数据检查是检查一张表内的重复数据。确保主数据唯一、指标可信的关键防线:它以唯一键、模糊匹配和归并规则为基准,实时或离线识别并消除“同一实体多次记录”带来的冗余与失真,从源头阻断虚高统计,提升数据一致性与业务可用性。
定义重复依据:若仅添加一个字段,将检查该字段内是否有重复数据;若添加了多个字段,将联合检查多个字段内是否有重复数据
场景说明:
ADS_JIRAISSUE(缺陷记录表)的缺陷单号字段PKEY是记录缺陷的标识字段,业务层面不允许有重复的单号,现需要针对该字段进行重复值检查。
ADS_JIRAISSUE(缺陷记录表) | ||
PKEY | RESOLUTIONDATE | CREATED |
PKEY001 | 2026-3-3 | 2026-3-1 |
PKEY001 | 2026-3-4 | 2026-3-1 |
PKEY002 | 2026-3-11 | 2026-3-1 |
PKEY003 | 2026-3-12 | 2026-3-1 |
质检结果 质检总数:4 错误数据:2(PKEY001、PKEY001) | ||
请先登录