亿信华辰文档中心>> liuyishou 创建的词条
Hadoop迁移组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.概述用户可以通过Hadoop迁移组件将关系型数据库中的数据批量导入到impala或petabase、hive等库中。2.操作步骤前置条件:用户已部署HDFS服务器。操作入口:【任务管理>任务定[阅读全文]

Greenplum装载组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.组件介绍通过创建外部表方式读取第三方文件,将大数据量的表数据抽取到Greenplum目标库中。 Greenplum装载组件的目标设置中:1.协议选项,下拉框有gpfdist和file协议,[阅读全文]

Greenplum卸载组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.概述数据交换组件支持Greenplum数据库表导出为文本文件。通过该方式可有效的提高Greenplum数据库的数据交换的效率。2.操作步骤前置步骤:1.Liunx服务器或者windows服务器已部署[阅读全文]

大数据引擎
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 批处理与交换任务部分组件支持spark大数据处理引擎,使用该引擎能够有效得提升海量数据的数据传输与数据处理的效率。用户新建批处理任务或者交换任务后,执行任务时选择Spark引擎作为计算引擎,程序将自动的[阅读全文]

循环节点组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.组件介绍ETL任务流升级改造为调度平台后,去掉了任务循环功能,在ETL组件得流程组件中新增循环节点组件,实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套。基本配置:循环[阅读全文]

文件传输组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 交换任务-文件传输组件新增一个文件生成组件。支持将表字段类型为大字段和二进制类型的数据输出为文件,每一行生成一个文件。输出支持文本、excel文件、图片、视频等。后缀支持:txt、doc、docx、js[阅读全文]

批交换组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 批量交换到表组件,选择一个或者多个连接池下的表,将其批量设置表名后交换到另外一个数据库中。  【操作步骤】基本设置:1.源表的设置可以选择不同数据库的多张数据库表,支持表名模糊搜索与[阅读全文]

输入输出组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.表输入组件表输入组件用于从数据库连接池中选择源表进行数据的抽取,作为后续组件的数据来源。时间戳增量(改名为主键+时间戳增量)它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,业务系[阅读全文]

快速装卸组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.Greenplum卸载组件数据交换组件支持Greenplum数据库表导出为文本文件。通过该方式可有效的提高Greenplum数据库的数据交换的效率。【操作步骤】前置步骤:1.Liunx服务器或者wi[阅读全文]

Xml解析组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: Xml解析组件可以从前置组件中读取到xml格式的数据,然后将其解析成结构化数据,并向后置组件输出。客户的一个接口返回的书本信息,书名,类型,出版社等等,这些信息是以xml的形式返回的,可以通过时xmlN[阅读全文]

JSON解析组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据,然后将其解析成结构化数据,并向后置组件输出。客户的一个接口返回的用户信息,姓名性别身份证家庭住址等等,这些信息是以JSON的[阅读全文]

行更新组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.功能介绍行更新组件用于处理行间数据,将某一行的前后几行数据来计算填充某列数据。该组件常用于计算累计行数据。2.基础设置3.组件说明1.更新字段用于设置需要填充的列(必填项)2.起始行数据设置:初始行[阅读全文]

存储过程组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.使用方法通过该组件可直接调用执行数据库中编写好的存储过程。一般情况下存储过程组件可单独使用,不依赖其他的组件。2.使用场景首先需要在数据库中创建一个存储过程,不同的数据库存储过程的创建语法不一致。此[阅读全文]

垃链表组件
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 拉链表组件的主要功能是将前置输入的周期表转成拉链表,并根据当前组件设置的更新策略插入到当前组件选择的数据库表中。1.界面字段列表页面:字段列表界面设置将要入库的表,并在字段映射中设置与输入字段的映射,字[阅读全文]

元数据分析
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.概述睿治元数据管理平台提供了丰富的分析应用,包括:血缘分析、影响分析、全链分析、关联度分析、属性差异分析、元数据对比分析、重复元数据分析、元数据对比分析、重复元数据分析、同时支持将分析结果进行导出和[阅读全文]

元数据管理
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.概述睿治元数据管理功能提供各类元数据管理,包括:业务元数据、技术元数据和管理元数据,支持元数据的基本信息、属性、依赖关系、组合关系的增删改查操作。不仅区分了最新和定版元数据,还可以查看和对比历史版本[阅读全文]

批处理及交换组件使用参考
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 概念批处理和交换组件是计算机系统中两个重要的概念,主要涉及数据处理和系统资源管理。 批处理(Batch Processing)批处理是指计算机将一系列任务或作业集中起来,作为一个批次[阅读全文]

元数据监控
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 睿治元数据监控页面,统计了元数据各种数据以及变更和关联情况,可以对元数据的主要信息一览无余,方便用户对已经采集的元数据的情况的监控。[阅读全文]

数据地图使用
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.基本操作进入【数据地图】界面。默认展示各系统域及其关系。如上图,有4个系统域,其中业务平台有流向内部管理平台的连线,表示内部管理平台会用到业务平台中数据。内部管理平台和风险平台间有2条连线,表示他们[阅读全文]

新建数据地图
词条创建者:liuyishou     创建时间: 编辑: | 浏览:
标签:

摘要: 1.概述睿治元数据全局数据地图可以一目了然的查看各系统间的联系,从宏观上把控数据关系。2.新建系统域进入【元数据】-【元数据管理】-【数据地图配置】界面,新建系统域“风险平台”。3.新建系统然后在“风险[阅读全文]