摘要: 批处理与交换任务部分组件支持spark大数据处理引擎,使用该引擎能够有效得提升海量数据的数据传输与数据处理的效率。用户新建批处理任务或者交换任务后,执行任务时选择Spark引擎作为计算引擎,程序将自动的[阅读全文:]
摘要: 发布:将ETL任务(ETL任务流)发布到运行区(定版任务流)有2个入口:一个是在ETL任务(ETL任务流)编辑界面,点击发布;一个是在ETL任务(ETL任务流)列表中,勾选ETL任务(ETL任务流)后点[阅读全文:]
摘要: 1. 组件介绍本章节主要介绍了如何使用边缘采集输入输出组件实时采集服务器上的日志数据。前提条件1、需要提前在采集服务器上安装边缘节点程序。2、在使用边缘采集输入输出组件前,需要配置边缘节点的I[阅读全文:]
摘要: 1. 前置步骤1.需要提前对原数据库的环境进行操作配置。目前支持的五种数据库。分别为ORACLR,MYSQL,SQLSERVER,POSTGRESQL,以及达梦数据库. 详情参考数据库表配置。[阅读全文:]
摘要: 1. 应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据,然后将其解析成结构化数据,并向后置组件输出。 客户的一个接口返回的用户信息,姓名性别身份证家庭住址等等,这些信息[阅读全文:]
摘要: 1. 前置步骤需提前部署kafka 服务器,并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图,两数据源除适用环境不一致,其余的配置都是一样的。如果没有配置配套[阅读全文:]
摘要: 使用场景;InfluxDB批量迁移组件支持将influxdb:1.8.10时序数据库抽取出来输出到目标库表中。组件路径:数据整合/设计区/交换任务/批量迁移组件/InfluxDB批量迁移组件。配置案例:[阅读全文:]
摘要: 平面文件输入组件支持从文件数据源、服务器获取文件内容,解析其格式并输出到目标端。这里我们以从文件数据源获取文本文件,解析并输入到目标端,选择文件数据源中的汽车销量文本文件,点击格式配置,格式配置中的行分[阅读全文:]