摘要: 1. 概述重复数据检查是检查一张表内的重复数据。确保主数据唯一、指标可信的关键防线：它以唯一键、模糊匹配和归并规则为基准，实时或离线识别并消除“同一实体多次记录”带来的冗余与失真，从源头阻断虚[阅读全文:]
摘要: 1.概述逻辑检查是多个指标的逻辑检查，确保数据一致性、合理性和业务有效性的关键环节。它通过预定义的逻辑规则，对数据之间的内在关系进行验证，识别不符合业务逻辑或数据关系的问题，从而提升数据的可靠性和可用性[阅读全文:]
摘要: 1.概述质检结果表用于存储质检后的结果数据，每个质检方案都有一张或多张质检结果表，涉及到的每张主题表都会对应一张质检结果表。模型是否启用Spark引擎对于质检结果表的存储方式有一点差异性。本文将主要介绍[阅读全文:]
摘要: 1.组件介绍ETL任务流升级改造为调度平台后，去掉了任务循环功能，在ETL组件得流程组件中新增循环节点组件，实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套。基本配置：循环[阅读全文:]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这些信息是以JSON的[阅读全文:]
摘要: 可针对定时调度、实时调度的执行运行情况按周期进行统计。1.定时调度执行过的调度总数：检查调度任务中组件的输入输出数据源是否为当前数据源系统下，是则纳入统计范围，同时根据调度运行时间按周期进行定时调度总数[阅读全文:]
摘要: 对数据源、数据整合以及调度平台下的资源进行监控，可全局掌握资源运行状态。监控范围包括：（1）数据源系统下各类型数据源的连通性（2）任务流调度、实施调度的启用/禁用个数统计（3）任务流调度、实时调度的执行[阅读全文:]
摘要: 任务流调度绑定监听事件后，事件触发调度执行都会有事件处理日志。可前往事件管理-事件处理日志Tab页进行查看。[阅读全文:]