摘要: 编辑区是设计ETL任务流的区域。需要将左侧组件列表里的组件拖动到此区域,按照任务执行先后顺序将各组件或串行或并行连接起来,并设置任务组件属性来完成整体流程设计。编辑区中组件可拖动改变位置,双击打开到组件[阅读全文]
摘要: 组件区包含组件、导航面板、资源面板三个页签。组件:这里显示了制作ETL任务流所有可用的任务组件,包括ETL任务组件、ETL任务流组件、分支任务组件、存储过程任务组件等。可拖动任务组件到编辑区进行ETL任[阅读全文]
摘要: 菜单栏包含设计器所有的管理功能。(1)更多【更多】下有文件、编辑、查看、组件导入等菜单项。文件保存:保存ETL任务流,同菜单栏中的功能。另存为:另存为ETL任务流。检查:同菜单栏中。清除检查标记:检查[阅读全文]
摘要: 调度平台是用于管理和执行ETL任务的模块,可对ETL任务进行资源分配、任务分配以及时间分配,提升ETL任务执行的效率,同时可监控ETL任务执行过程,便于分析和调整计划。模块包含功能有任务流定义、任务流调[阅读全文]
摘要: 批处理与交换任务部分组件支持spark大数据处理引擎,使用该引擎能够有效得提升海量数据的数据传输与数据处理的效率。用户新建批处理任务或者交换任务后,执行任务时选择Spark引擎作为计算引擎,程序将自动的[阅读全文]
摘要: 1.循环节点组件ETL任务流升级改造为调度平台后,去掉了任务循环功能,在ETL组件得流程组件中新增循环节点组件,实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套[阅读全文]
摘要: 交换任务-文件传输组件新增一个文件生成组件。支持将表字段类型为大字段和二进制类型的数据输出为文件,每一行生成一个文件。输出支持文本、excel文件、图片、视频等。后缀支持:txt、doc、docx、js[阅读全文]
摘要: 批量交换到表组件,选择一个或者多个连接池下的表,将其批量设置表名后交换到另外一个数据库中。 【操作步骤】基本设置: 1.源表的设置可以选择不同数据库的多张数据库表,支持表名模糊搜索与Ctrl[阅读全文]
摘要: 1.表输入组件表输入组件用于从数据库连接池中选择源表进行数据的抽取,作为后续组件的数据来源。时间戳增量(改名为主键+时间戳增量)它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,业务系[阅读全文]
摘要: 1.Greenplum卸载组件数据交换组件支持Greenplum数据库表导出为文本文件。通过该方式可有效的提高Greenplum数据库的数据交换的效率。【操作步骤】前置步骤:1.Liunx服务器或者wi[阅读全文]
摘要: Xml解析组件可以从前置组件中读取到xml格式的数据,然后将其解析成结构化数据,并向后置组件输出。 客户的一个接口返回的书本信息,书名,类型,出版社等等,这些信息是以xml的形式返回的,可以通过时xml[阅读全文]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据,然后将其解析成结构化数据,并向后置组件输出。 客户的一个接口返回的用户信息,姓名性别身份证家庭住址等等,这些信息是以JSON[阅读全文]
摘要: 1.功能介绍行更新组件用于处理行间数据,将某一行的前后几行数据来计算填充某列数据。该组件常用于计算累计行数据。2.基础设置3.组件说明1.更新字段用于设置需要填充的列(必填项)2.起始行数据设置:初始行[阅读全文]
摘要: 1.使用方法通过该组件可直接调用执行数据库中编写好的存储过程。一般情况下存储过程组件可单独使用,不依赖其他的组件。2.使用场景首先需要在数据库中创建一个存储过程,不同的数据库存储过程的创建语法不一致。此[阅读全文]
摘要: 拉链表组件的主要功能是将前置输入的周期表转成拉链表,并根据当前组件设置的更新策略插入到当前组件选择的数据库表中。1.界面字段列表页面:字段列表界面设置将要入库的表,并在字段映射中设置与输入字段的映射,字[阅读全文]
摘要: 发布:将ETL任务(ETL任务流)发布到运行区(定版任务流)有2个入口:一个是在ETL任务(ETL任务流)编辑界面,点击发布;一个是在ETL任务(ETL任务流)列表中,勾选ETL任务(ETL任务流)后点[阅读全文]
摘要: 编辑区是设计ETL任务的区域。根据数据处理需求,从左侧组件列表中找到所需组件,拖入到编辑区中,按顺序连接起来,并进行相应组件设置,全程界面化完成数据处理流程设计。编辑区中组件可以拖动改变位置,双击打开组[阅读全文]