摘要: 变更检测用于检测ETL任务的输入输出源的表结构是否发生变更，如果发生了变更，则或短信或邮箱或站内信通知。目前支持检测的组件有：表输入输出组件、主题表输入输出组件。规则是以组件中的字段列表为准，检查库表的[阅读全文]
摘要: 调度平台是用于管理和执行ETL任务的模块，可对ETL任务进行资源分配、任务分配以及时间分配，提升ETL任务执行的效率，同时可监控ETL任务执行过程，便于分析和调整计划。模块包含功能有任务流定义、任务流调[阅读全文]
摘要: 批处理与交换任务部分组件支持spark大数据处理引擎，使用该引擎能够有效得提升海量数据的数据传输与数据处理的效率。用户新建批处理任务或者交换任务后，执行任务时选择Spark引擎作为计算引擎，程序将自动的[阅读全文]
摘要: 发布：将ETL任务(ETL任务流)发布到运行区(定版任务流)有2个入口：一个是在ETL任务(ETL任务流)编辑界面，点击发布；一个是在ETL任务(ETL任务流)列表中，勾选ETL任务(ETL任务流)后点[阅读全文]
摘要: 1. 组件介绍本章节主要介绍了如何使用边缘采集输入输出组件实时采集服务器上的日志数据。前提条件1、需要提前在采集服务器上安装边缘节点程序。2、在使用边缘采集输入输出组件前，需要配置边缘节点的I[阅读全文]
摘要: 1. 前置步骤1.需要提前对原数据库的环境进行操作配置。目前支持的五种数据库。分别为ORACLR,MYSQL,SQLSERVER,POSTGRESQL，以及达梦数据库. 详情参考数据库表配置。[阅读全文]
摘要: 1. 应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。 客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这些信息[阅读全文]
摘要: 1. 前置步骤需提前部署kafka 服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有配置配套[阅读全文]
摘要: 使用场景；InfluxDB批量迁移组件支持将influxdb:1.8.10时序数据库抽取出来输出到目标库表中。组件路径：数据整合/设计区/交换任务/批量迁移组件/InfluxDB批量迁移组件。配置案例：[阅读全文]
摘要: 平面文件输入组件支持从文件数据源、服务器获取文件内容，解析其格式并输出到目标端。这里我们以从文件数据源获取文本文件，解析并输入到目标端，选择文件数据源中的汽车销量文本文件，点击格式配置，格式配置中的行分[阅读全文]
摘要: 通过函数表达式对前置组件各字段的数据进行转换处理，得到新的结果集数据。按钮说明：新增在表达式组件中，新增字段删除删除或批量删除字段上移/下移调整字段位置。拾取拾取前置组件的字段文本编辑点击后，切换到文本[阅读全文]
摘要: 专为保障数据在传输、存储及交换过程中的机密性与完整性,可使用加解密组件。对选择的字段进行加密或解密，根据输出设置将字段进行输出。目前加密级组件支持AES/ECB、AES/CBC、SM2、SEM4等多种算[阅读全文]
摘要: 题表输出组件和表输出组件一样，也是作为输出端，目标组件。界面设置基本一样，不同的是主题表输出是输出到主题表的。主题表输出的更新方式可参考表输出。注意：主题表输出组件支持将字段注释一起输出到目标表中。具体[阅读全文]
摘要: 1. 表输入组件表输入组件用于从数据库连接池中选择源表进行数据的抽取，作为后续组件的数据来源。 时间戳增量（改名为主键+时间戳增量）它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间[阅读全文]
摘要: 批量交换到表组件，选择一个或者多个连接池下的表，将其批量设置表名后交换到另外一个数据库中。 【操作步骤】1.源表的设置可以选择不同数据库的多张数据库表，支持表名模糊搜索与Ctrl键 + 鼠标[阅读全文]
摘要: 组件概述可以读取redis数据上的数据，作为数据源，进行数据抽取。属性设置：输入对应的redis数据库的地址，以及密码（没有密码可不输入），输入完成后可进行连通性测试。连通成功后,选择对应的key值，（[阅读全文]
摘要: 1. mongodb 输入组件Mongodb输入组件可直接从组件中配置mongodb数据源，选择集合进行数据的抽取，作为后续组件的数据来源。该组件输入设置tab页主要配置分别是mon[阅读全文]
摘要: 1. 组件介绍主要作用：文件传输代理组件可以实现将两个不同服务器之间的文件进行相互传输。 主要功能介绍： 1.可以选择传输文件块大小； [阅读全文]