摘要: KAFKA生产消费组件1.前置步骤需提前部署kafka服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有[阅读全文:]
摘要: 专为保障数据在传输、存储及交换过程中的机密性与完整性,可使用加解密组件。对选择的字段进行加密或解密，根据输出设置将字段进行输出。目前加密级组件支持AES/ECB、AES/CBC、SM2、SEM4等多种算[阅读全文:]
摘要: 实时任务中数据库表既可以作为输入源，也可以作为输出源。用户设计实时任务，拖入输入组件和处理组件以及表输出组件，然后配置好输入组件信息，处理组件处理逻辑以 及表输出组件连接池和目标表及加载方式，保存后启动[阅读全文:]
摘要: 1.mongodb 输入组件Mongodb输入组件可直接从组件中配置mongodb数据源，选择集合进行数据的抽取，作为后续组件的数据来源。该组件输入设置tab页主要配置分别是mongodb数据[阅读全文:]
摘要: 1. 概述本文档是ETL任务的入门示例，希望大家通过这个示例理解ETL任务的制作步骤以及设计思路。下文我们以个人周报数据抽取为例，讲述ETL任务的制作步骤。具体需求如下：1)【个人周报表IGR[阅读全文:]
摘要: 1.概述列转行功能主要用于将数据表中的列数据转换成行数据，以便于分析和展示。例如，在某些场景下，用户希望将多个列值转换为不同的行字段，以满足特定的报表或分析需求。 在【数据整合】-【设计区】中，打开【任[阅读全文:]
摘要: 1.概述行转列功能主要用于将数据表中的行数据转换为列数据，以便于分析和展示。例如，在某些场景下，用户希望将多个行值转换为不同的列字段，以满足特定的报表或分析需求。 在【数据整合】-【设计区】中[阅读全文:]
摘要: 1.组件介绍ETL任务流升级改造为调度平台后，去掉了任务循环功能，在ETL组件得流程组件中新增循环节点组件，实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套。基本配置：循环[阅读全文:]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这些信息是以JSON的[阅读全文:]
摘要: 概念批处理和交换组件是计算机系统中两个重要的概念，主要涉及数据处理和系统资源管理。 批处理(Batch Processing)批处理是指计算机将一系列任务或作业集中起来，作为一个批次[阅读全文:]