摘要: 1.HTTP 接口组件1.组件介绍可调用数据源管理页面的接口数据源下的http格式的接口,读取接口返回结果,将结果保存到临时表的一个字段中,供后置组件使用。数据源:选择数据源下的一个接口数据源[阅读全文]
摘要: 1.HDFS文件输入组件hdfs输入组件是一个将hdfs服务器上的文件或压缩文件解析以供后续组件使用,从文本文件中读取数据到任务中,和表输入组件一样作为输入端。与平面文件输入不同的是hdfs文件输入组件[阅读全文]
摘要: 1.概述Hadoop文件输入组件可将本地文本文件输出到Hadoop目标表,如cdh、impala、petabase等Hadoop文件输入组件,文件设置页面:源文件路径:配置产品服务器得文件路径。列分割符[阅读全文]
摘要: 1.概述将经过数据交换etl处理后的数据保存到大数据库impala或petabase等库中,和表输出组件一样作为输出端。 用户使用Hadoop输出组件,选择Hive和对应的表并选择不存在则创建[阅读全文]
摘要: 1.概述用户可以通过Hadoop迁移组件将关系型数据库中的数据批量导入到impala或petabase、hive等库中。2.操作步骤前置条件:用户已部署HDFS服务器。操作入口:【任务管理>任务定[阅读全文]
摘要: 1.组件介绍通过创建外部表方式读取第三方文件,将大数据量的表数据抽取到Greenplum目标库中。 Greenplum装载组件的目标设置中:1)协议选项,下拉框有gpfdist和file协议,[阅读全文]
摘要: 1.概述数据交换组件支持Greenplum数据库表导出为文本文件。通过该方式可有效的提高Greenplum数据库的数据交换的效率。2.操作步骤前置步骤:1.Liunx服务器或者windows服务器已部署[阅读全文]
摘要: Xml解析组件可以从前置组件中读取到xml格式的数据,然后将其解析成结构化数据,并向后置组件输出。客户的一个接口返回的书本信息,书名,类型,出版社等等,这些信息是以xml的形式返回的,可以通过时xmlN[阅读全文]
摘要: 1.功能介绍行更新组件用于处理行间数据,将某一行的前后几行数据来计算填充某列数据。该组件常用于计算累计行数据。2.基础设置3.组件说明1.更新字段用于设置需要填充的列(必填项)2.起始行数据设置:初始行[阅读全文]
摘要: 拉链表组件的主要功能是将前置输入的周期表转成拉链表,并根据当前组件设置的更新策略插入到当前组件选择的数据库表中。1.界面字段列表页面:字段列表界面设置将要入库的表,并在字段映射中设置与输入字段的映射,字[阅读全文]
摘要: 1.使用方法通过该组件可直接调用执行数据库中编写好的存储过程。一般情况下存储过程组件可单独使用,不依赖其他的组件。2.使用场景首先需要在数据库中创建一个存储过程,不同的数据库存储过程的创建语法不一致。此[阅读全文]
摘要: 实时任务中数据库表既可以作为输入源,也可以作为输出源。用户设计实时任务,拖入输入组件和处理组件以及表输出组件,然后配置好输入组件信息,处理组件处理逻辑以 及表输出组件连接池和目标表及加载方式,保存后启动[阅读全文]
摘要: 打开设计区的ETL任务列表,点击【新建】,选择任务类型,进入ETL任务设计器。添加表输入组件:根据需求,我们要对数据库中的表进行ETL,将IGRZB_B0作为输入表。【表输入】组件支持选择任意接入的连接[阅读全文]
摘要: 编辑区编辑区是设计ETL任务的区域。根据数据处理需求,从左侧组件列表中找到所需组件,拖入到编辑区中,按顺序连接起来,并进行相应组件设置,全程界面化完成数据处理流程设计。编辑区中组件可以拖动改变位置,双击[阅读全文]
摘要: 组件区组件区分为组件、导航面板、资源面板3个页签。(1)组件列表这里显示了制作ETL任务所有可用的组件。分为输入输出组件、快速装载组件、转换组件、流程组件、统计组件、数仓组件、脚本组件、其他组件等。支持[阅读全文]
摘要: 菜单栏菜单栏包含ETL任务设计器所有的管理功能(1)更多【更多】下有文件、编辑、查看、组件导入等菜单项。文件文件包含:保存:保存ETL任务,同菜单栏中的功能。另存为:另存为ETL任务。检查:同菜单栏中。[阅读全文]
摘要: ETL设计器提供可视化的ETL作业界面,支持作业的试运行和断点调试等,提供丰富的组件,能完成ETL数据加工的边调试边预览数据。本文档用于帮助大家了解ETL设计器。界面概览:ETL任务设计器界面概览如下:[阅读全文]