摘要: 1. 组件介绍 分支组件主要用处根据分支条件判断后续任务执行的路径,满足分支条件,就会执行其后续的任务组件。1.分支条件是一个返回布尔值的表达式,支持通用表达式,也支持通过宏引用当前任务中定义[阅读全文]
摘要: 1. 组件概述交换任务-文件传输组件新增一个文件生成组件。支持将表字段类型为大字段和二进制类型的数据输出为文件,每一行生成一个文件。输出支持文本、excel文件、图片、视频等。后缀支持:txt[阅读全文]
摘要: 1. 组件介绍 ETL任务流升级改造为调度平台后,去掉了任务循环功能,在ETL组件得流程组件中新增循环节点组件,实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组[阅读全文]
摘要: 1. 组件介绍参数赋值组件用于根据输入的记录来更新ETL编辑器中定义的参数值。参数值可以设置输入的字段、表达式、宏等。在交换任务执行的过程中,通过参数赋值组件改变参数的取值,供后续组件调用参数[阅读全文]
摘要: 1. 组件概述Oracle 装载组件、卸载组件常常用于Oracle 数据库之间的大数据量的数据传输场景。项目上使用传统的表输入-表输出的形式针对大数据量的情况下,性能往往与预期相差较大。Ora[阅读全文]
摘要: 1. 概述Json生成组件故名思意就是讲已有的数据字段信息生成一个json串存储在临时表中,供后续组件或者系统的使用。目前json生成组件支持配置生成的json格式位数组、对象两种类型。jso[阅读全文]
摘要: 1. 概述json解析组件可以从前置实时组件中读取到json格式的数据,然后将其解析成结构化数据,并向后置组件输出。 客户的一个接口返回的用户信息,姓名性别身份证家庭住址等等,这些信息是以JS[阅读全文]
摘要: 1. HTTP 接口组件1.组件介绍可调用数据源管理页面的接口数据源下的http格式的接口,读取接口返回结果,将结果保存到临时表的一个字段中,供后置组件使用。数据源:选择数据源下的一[阅读全文]
摘要: 1. HDFS文件输入组件hdfs输入组件是一个将hdfs服务器上的文件或压缩文件解析以供后续组件使用,从文本文件中读取数据到任务中,和表输入组件一样作为输入端。与平面文件输入不同的是hdfs[阅读全文]
摘要: 1. 概述 Hadoop文件输入组件可将本地文本文件输出到Hadoop目标表,如cdh、impala、petabase等Hadoop文件输入组件,文件设置页面:源文件路径[阅读全文]
摘要: 1. 概述将经过数据交换etl处理后的数据保存到大数据库impala或petabase等库中,和表输出组件一样作为输出端。 用户使用Hadoop输出组件,选择Hive和对应的表并选择不存在则创[阅读全文]
摘要: 1. 概述用户可以通过Hadoop迁移组件将关系型数据库中的数据批量导入到impala或petabase、hive等库中。2. 操作步骤前置条件:用户已部署HDFS服务器。 操作入口[阅读全文]
摘要: 1. 组件介绍通过创建外部表方式读取第三方文件,将大数据量的表数据抽取到Greenplum目标库中。 Greenplum装载组件的目标设置中:1. 协议选项,下拉框有gpf[阅读全文]
摘要: 1. 概述数据交换组件支持Greenplum数据库表导出为文本文件。通过该方式可有效的提高Greenplum数据库的数据交换的效率。2. 操作步骤前置步骤:1.Liunx服务器或者w[阅读全文]
摘要: Xml解析组件可以从前置组件中读取到xml格式的数据,然后将其解析成结构化数据,并向后置组件输出。 客户的一个接口返回的书本信息,书名,类型,出版社等等,这些信息是以xml的形式返回的,可以通过时xml[阅读全文]
摘要: 1. 基本功能说明行转列功能主要用于将数据表中的行数据转换为列数据,以便于分析和展示。例如,在某些场景下,用户希望将多个行值转换为不同的列字段,以满足特定的报表或分析需求。在【数据整合】-【设[阅读全文]
摘要: 1. 基本功能说明列转行功能主要用于将数据表中的列数据转换成行数据,以便于分析和展示。例如,在某些场景下,用户希望将多个行值转换为不同的列字段,以满足特定的报表或分析需求。在【数据整合】-【设[阅读全文]
摘要: 1. 基本功能说明行更新组件用于处理行间数据,将某一行的前后几行数据来计算填充某列数据。该组件常用于计算累计行数据。基础设置组件说明1.更新字段用于设置需要填充的列(必填项)2.起始行数据设置[阅读全文]