摘要: 1.概述Json生成组件故名思意就是讲已有的数据字段信息生成一个json串存储在临时表中，供后续组件或者系统的使用。目前json生成组件支持配置生成的json格式位数组、对象两种类型。json生成组件中[阅读全文]
摘要: 1.HTTP 接口组件1.组件介绍可调用数据源管理页面的接口数据源下的http格式的接口，读取接口返回结果，将结果保存到临时表的一个字段中，供后置组件使用。数据源：选择数据源下的一个接口数据源[阅读全文]
摘要: 1.HDFS文件输入组件hdfs输入组件是一个将hdfs服务器上的文件或压缩文件解析以供后续组件使用，从文本文件中读取数据到任务中，和表输入组件一样作为输入端。与平面文件输入不同的是hdfs文件输入组件[阅读全文]
摘要: 1.概述Hadoop文件输入组件可将本地文本文件输出到Hadoop目标表，如cdh、impala、petabase等Hadoop文件输入组件，文件设置页面：源文件路径：配置产品服务器得文件路径。列分割符[阅读全文]
摘要: 1.概述将经过数据交换etl处理后的数据保存到大数据库impala或petabase等库中，和表输出组件一样作为输出端。 用户使用Hadoop输出组件，选择Hive和对应的表并选择不存在则创建[阅读全文]
摘要: 1.概述用户可以通过Hadoop迁移组件将关系型数据库中的数据批量导入到impala或petabase、hive等库中。2.操作步骤前置条件：用户已部署HDFS服务器。操作入口：【任务管理>任务定[阅读全文]
摘要: 1.组件介绍通过创建外部表方式读取第三方文件，将大数据量的表数据抽取到Greenplum目标库中。 Greenplum装载组件的目标设置中：1.协议选项，下拉框有gpfdist和file协议，[阅读全文]
摘要: 1.概述数据交换组件支持Greenplum数据库表导出为文本文件。通过该方式可有效的提高Greenplum数据库的数据交换的效率。2.操作步骤前置步骤：1.Liunx服务器或者windows服务器已部署[阅读全文]
摘要: 实时任务中数据库表既可以作为输入源，也可以作为输出源。用户设计实时任务，拖入输入组件和处理组件以及表输出组件，然后配置好输入组件信息，处理组件处理逻辑以 及表输出组件连接池和目标表及加载方式，保存后启动[阅读全文]
摘要: 打开设计区的ETL任务列表，点击【新建】，选择任务类型，进入ETL任务设计器。添加表输入组件：根据需求，我们要对数据库中的表进行ETL，将IGRZB_B0作为输入表。【表输入】组件支持选择任意接入的连接[阅读全文]
摘要: 1.组件介绍本章节主要介绍了如何使用边缘采集输入输出组件实时采集服务器上的日志数据。前提条件1、需要提前在采集服务器上安装边缘节点程序。2、在使用边缘采集输入输出组件前，需要配置边缘节点的IP地址和端口[阅读全文]
摘要: 1.前置步骤1.需要提前对原数据库的环境进行操作配置。目前支持的四种数据库。分别为ORACLR,MYSQL,SQLSERVER,POSTGRESQL. 详情参考数据库表配置。2.在进行CDC同步的过程中[阅读全文]
摘要: 1.前置步骤需提前部署kafka服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有配置配套的kafka生[阅读全文]
摘要: 打开到主题集属性页面，切换到【表关联关系】页。点击【新建关联关系】，弹出关联关系设置对话框。比如，设置表IGRZB_B0和IYGXX_XXB7的关联关系。选择主题表：需要在表定义处选择这2张表，如下图。[阅读全文]
摘要: 用于介绍如何根据定版数据标准创建主题表。【操作步骤】这里，我们以之前创建的定版标准“基础数据标准”为例，创建一张主题表。1）点击【新建主题表】选择【数据标准】。2）进入到创建主题表页面，点击【新建标准字[阅读全文]
摘要: 本文通过创建【个人周报】【员工请假单】【员工信息】这3张主题表，来讲解如何根据数据库表新建主题表。【操作步骤】新建主题表在【数据集】下左侧资源树中找到主题集下的主题表，单击，在右侧界面点击【新建主题表】[阅读全文]
摘要: 维表数据更新通常情况下，维表数据缓存在内存中（创建时勾选了【缓存到内存】，则数据会缓存到内存，默认是勾选的）。只有缓存到内存的维表才能查看维数据，才能应用于维下拉，才能使用diminf函数取维项信息等。[阅读全文]
摘要: 通用维：数据分多级，呈树形，数据之间的级次关系由钻取路径决定。下图就是一个通用维：接着我们通过创建上图所示的“人员维”维表来讲解如何新建通用维。示例分析：在开始创建前我们先分析下该维表的相关信息。l维表[阅读全文]