摘要: 1.概述列转行功能主要用于将数据表中的列数据转换成行数据,以便于分析和展示。例如,在某些场景下,用户希望将多个列值转换为不同的行字段,以满足特定的报表或分析需求。 在【数据整合】-【设计区】中,打开【任[阅读全文:]
摘要: 1.概述行转列功能主要用于将数据表中的行数据转换为列数据,以便于分析和展示。例如,在某些场景下,用户希望将多个行值转换为不同的列字段,以满足特定的报表或分析需求。 在【数据整合】-【设计区】中[阅读全文:]
摘要: 1.循环节点组件ETL任务流升级改造为调度平台后,去掉了任务循环功能,在ETL组件得流程组件中新增循环节点组件,实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套[阅读全文:]
摘要: 批处理与交换任务部分组件支持spark大数据处理引擎,使用该引擎能够有效得提升海量数据的数据传输与数据处理的效率。用户新建批处理任务或者交换任务后,执行任务时选择Spark引擎作为计算引擎,程序将自动的[阅读全文:]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据,然后将其解析成结构化数据,并向后置组件输出。 客户的一个接口返回的用户信息,姓名性别身份证家庭住址等等,这些信息是以JSON[阅读全文:]
摘要: 题表输出组件和表输出组件一样,也是作为输出端,目标组件。界面设置基本一样,不同的是主题表输出是输出到主题表的。主题表输出的更新方式可参考表输出。注意:主题表输出组件支持将字段注释一起输出到目标表中。具体[阅读全文:]
摘要: 1.表输入组件表输入组件用于从数据库连接池中选择源表进行数据的抽取,作为后续组件的数据来源。时间戳增量(改名为主键+时间戳增量)它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,业务系[阅读全文:]
摘要: 批量交换到表组件,选择一个或者多个连接池下的表,将其批量设置表名后交换到另外一个数据库中。 【操作步骤】基本设置: 1.源表的设置可以选择不同数据库的多张数据库表,支持表名模糊搜索与Ctrl[阅读全文:]