摘要: 实时JSON解析组件1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这[阅读全文]
摘要: 边缘采集组件1.组件介绍本章节主要介绍了如何使用边缘采集输入输出组件实时采集服务器上的日志数据。前提条件1、需要提前在采集服务器上安装边缘节点程序。2、在使用边缘采集输入输出组件前，需要配置边缘节点的I[阅读全文]
摘要: 实时CDC日志单表同步组件1.前置步骤1.需要提前对原数据库的环境进行操作配置。目前支持的五种数据库。分别为ORACLR,MYSQL,SQLSERVER,POSTGRESQL以及达梦数据库。详情参考数据[阅读全文]
摘要: KAFKA生产消费组件1.前置步骤需提前部署kafka服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有[阅读全文]
摘要: 专为保障数据在传输、存储及交换过程中的机密性与完整性,可使用加解密组件。对选择的字段进行加密或解密，根据输出设置将字段进行输出。目前加密级组件支持AES/ECB、AES/CBC、SM2、SEM4等多种算[阅读全文]
摘要: 1.概述行转列功能主要用于将数据表中的行数据转换为列数据，以便于分析和展示。例如，在某些场景下，用户希望将多个行值转换为不同的列字段，以满足特定的报表或分析需求。 在【数据整合】-【设计区】中[阅读全文]
摘要: 1.概述行转列功能主要用于将数据表中的行数据转换为列数据，以便于分析和展示。例如，在某些场景下，用户希望将多个行值转换为不同的列字段，以满足特定的报表或分析需求。 在【数据整合】-【设计区】中[阅读全文]
摘要: 1.概述行转列功能主要用于将数据表中的行数据转换为列数据，以便于分析和展示。例如，在某些场景下，用户希望将多个行值转换为不同的列字段，以满足特定的报表或分析需求。 在【数据整合】-【设计区】中[阅读全文]
摘要: 1.概述列转行功能主要用于将数据表中的列数据转换成行数据，以便于分析和展示。例如，在某些场景下，用户希望将多个列值转换为不同的行字段，以满足特定的报表或分析需求。 在【数据整合】-【设计区】中，打开【任[阅读全文]
摘要: 1.概述列转行功能主要用于将数据表中的列数据转换成行数据，以便于分析和展示。例如，在某些场景下，用户希望将多个列值转换为不同的行字段，以满足特定的报表或分析需求。 在【数据整合】-【设计区】中，打开【任[阅读全文]
摘要: 1.概述列转行功能主要用于将数据表中的列数据转换成行数据，以便于分析和展示。例如，在某些场景下，用户希望将多个列值转换为不同的行字段，以满足特定的报表或分析需求。 在【数据整合】-【设计区】中，打开【[阅读全文]
摘要: 1. 概述用于执行Python语言脚本检查数据，通过Python脚本来判断数据的正确性，并返回检查结果。以人员信息数据为例，人员信息表记录员工的员工编号、入职时间、转正时间等信息。现我们将使用[阅读全文]
摘要: 1. 概述用于执行R语言脚本检查数据，通过R脚本来判断数据的正确性，并返回检查结果。以人员信息数据为例，人员信息表记录员工的员工编号、入职时间、转正时间、证件类型、证件号等信息。现我们将使用数[阅读全文]
摘要: 1. 概述JAVA脚本用于执行JAVA脚本检查数据：可按需定义执行条件与逻辑，调用系统 API 处理复杂业务场景，灵活满足内置规则无法覆盖的自定义数据质量检查需求。复杂业务场景用内置规则无法准[阅读全文]
摘要: 1. 概述 数据集检查用于检查当前事实表的结果与另外一个结果集的数据是否一致：检查不同来源或版本的数据集是否遵循一致标准，识别差异问题，保障数据集合逻辑与属性的协调性。检查主题表“X[阅读全文]
摘要: 1. 概述平衡性检查用于检查数据的误差是否在允许范围内：核心通过计算左右两侧表达式数值，校验其差值是否处于允许范围，属准确性检测范畴。可验证数据间关联平衡逻辑，识别数值失衡问题，保障数据逻辑一[阅读全文]
摘要: 1. 概述离群值检查用于检查数据中有一个或几个数值与其他数值相比差异较大：旨在识别显著偏离数据集整体分布的异常数据。其支持拉依达法、格鲁布斯法等算法，通过界定合理数值范围，标记超出范围的极端值[阅读全文]
摘要: 1. 概述引用完整性检查用于检查相对比招表数据是否有效：核心校验目标字段数据是否存在于比照表中，即子表外键值需匹配父表主键值或为 NULL，可识别悬空外键，防止无效数据产生，维护表间关联逻辑一[阅读全文]