摘要: 1. 概述记录缺失检查用于检查相对比照表数据的完整性：自动比照表字段与目标字段，精准识别数据缺失情况，并生成详尽报告，助力企业及时发现数据缺失问题，保障数据完整性，提升数据质量。以销售数据为例[阅读全文:]
摘要: 1. 概述及时性检查用于检查数据上报的及时性，确保数据上报“零迟到”的核心机制：它依据业务定义的时效窗口，实时对比每条记录的上报时间与期望到达时间，一旦延迟超阈值即触发告警、拦截或补录，从源头[阅读全文:]
摘要: 1. 概述重复数据检查是检查一张表内的重复数据。确保主数据唯一、指标可信的关键防线：它以唯一键、模糊匹配和归并规则为基准，实时或离线识别并消除“同一实体多次记录”带来的冗余与失真，从源头阻断虚[阅读全文:]
摘要: 1.概述逻辑检查是多个指标的逻辑检查，确保数据一致性、合理性和业务有效性的关键环节。它通过预定义的逻辑规则，对数据之间的内在关系进行验证，识别不符合业务逻辑或数据关系的问题，从而提升数据的可靠性和可用性[阅读全文:]
摘要: 1.概述质检结果表用于存储质检后的结果数据，每个质检方案都有一张或多张质检结果表，涉及到的每张主题表都会对应一张质检结果表。模型是否启用Spark引擎对于质检结果表的存储方式有一点差异性。本文将主要介绍[阅读全文:]
摘要: 1.组件介绍ETL任务流升级改造为调度平台后，去掉了任务循环功能，在ETL组件得流程组件中新增循环节点组件，实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套。基本配置：循环[阅读全文:]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这些信息是以JSON的[阅读全文:]
摘要: KAFKA生产消费组件1.前置步骤需提前部署kafka服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有[阅读全文:]