摘要: 1.组件介绍ETL任务流升级改造为调度平台后,去掉了任务循环功能,在ETL组件得流程组件中新增循环节点组件,实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套。基本配置:循环[阅读全文:]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据,然后将其解析成结构化数据,并向后置组件输出。客户的一个接口返回的用户信息,姓名性别身份证家庭住址等等,这些信息是以JSON的[阅读全文:]
摘要: 概念批处理和交换组件是计算机系统中两个重要的概念,主要涉及数据处理和系统资源管理。 批处理(Batch Processing)批处理是指计算机将一系列任务或作业集中起来,作为一个批次[阅读全文:]
摘要: 题表输出组件和表输出组件一样,也是作为输出端,目标组件。界面设置基本一样,不同的是主题表输出是输出到主题表的。主题表输出的更新方式可参考表输出。注意:主题表输出组件支持将字段注释一起输出到目标表中。具体[阅读全文:]
摘要: 1.组件概述可以读取redis数据上的数据,作为数据源,进行数据抽取。属性设置:输入对应的redis数据库的地址,以及密码(没有密码可不输入),输入完成后可进行连通性测试。连通成功后,选择对应的key值[阅读全文:]
摘要: 1.mongodb 输入组件Mongodb输入组件可直接从组件中配置mongodb数据源,选择集合进行数据的抽取,作为后续组件的数据来源。该组件输入设置tab页主要配置分别是mongodb数据[阅读全文:]
摘要: 1.组件介绍主要作用:文件传输代理组件可以实现将两个不同服务器之间的文件进行相互传输。主要功能介绍: 1.可以选择传输文件块大小; 2.可以选择加密或[阅读全文:]
摘要: 1.组件介绍校验组件主要通过对前置组件的结果集与所校验组件设置的条件进行比较,返回结果值。目前可设置的校验条件有行数等于指定值、行数等于指定输入组件行、所有数据行满足指定表达式、第一行数据满足指定表达式[阅读全文:]