摘要: 1.组件介绍ETL任务流升级改造为调度平台后，去掉了任务循环功能，在ETL组件得流程组件中新增循环节点组件，实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套。基本配置：循环[阅读全文]
摘要: 1.循环节点组件ETL任务流升级改造为调度平台后，去掉了任务循环功能，在ETL组件得流程组件中新增循环节点组件，实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套[阅读全文]
摘要: 控制策略作用任务流组件，设置组件控制属性使其在更加复杂的业务场景下也能正常按流程执行。1.互斥资源多个任务流组件之间支持通过配置互斥资源来进行互斥执行，配置相同互斥资源的组件同一时间仅支持运行一个。互斥[阅读全文]
摘要: 在任务流设计器管理页面，两两组件之间支持配置依赖执行，且执行条件支持三种方式a.当结果为真的时候继续下一步b.当结果为假的时候继续下一步c.无条件执行。组件间设置连线后，选择连线然后右键，可查看条件执行[阅读全文]
摘要: 同一个ETL任务流下的多个任务组件，在不设置连线依赖及属性依赖时，各组件会并发执行。当线程池资源不足时则按优先级先后提交执行，相同优先级的任务随机提交执行。[阅读全文]
摘要: 当调度平台服务存在集群环境时，ETL任务流下各任务的执行将随机分布在各个集群节点下，充分利用集群环境下各节点服务器的资源，提升任务执行的稳定性及执行效率。ETL任务流设计器下并发运行三个ETL任务，可在[阅读全文]
摘要: 针对ETL任务流设计器中任务组件之间的依赖进行血缘分析，可直观的查看当前组件的完整血缘关系。当分析节点中存在任务流组件时，可通过查看完整模型查看该任务流下嵌套了哪些任务，点击按钮可展开任务流下嵌套的任务[阅读全文]
摘要: 1.概述ETL任务流设计器是以图形化的方式完成ETL任务的前驱后继关系和调度顺序的定义。ETL任务依赖关系分为强制依赖和非强制依赖，强制依赖是指作业之间有着业务上的依赖关系，前置作业的输出作为后置作业的[阅读全文]
摘要: 批处理与交换任务部分组件支持spark大数据处理引擎，使用该引擎能够有效得提升海量数据的数据传输与数据处理的效率。用户新建批处理任务或者交换任务后，执行任务时选择Spark引擎作为计算引擎，程序将自动的[阅读全文]
摘要: 1.组件介绍本章节主要介绍了如何使用边缘采集输入输出组件实时采集服务器上的日志数据。前提条件1、需要提前在采集服务器上安装边缘节点程序。2、在使用边缘采集输入输出组件前，需要配置边缘节点的IP地址和端口[阅读全文]
摘要: 1.前置步骤1.需要提前对原数据库的环境进行操作配置。目前支持的四种数据库。分别为ORACLR,MYSQL,SQLSERVER,POSTGRESQL. 详情参考数据库表配置。2.在进行CDC同步的过程中[阅读全文]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这些信息是以JSON的[阅读全文]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这些信息是以JSON的[阅读全文]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。 客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这些信息是以JSON[阅读全文]
摘要: 1.添加用户用户是属于某个组织机构的，因此在添加用户时，应先选择组织机构。在组织机构列表中选中某个机构，再点击用户管理区域的，在打开的"用户信息"页面输入新用户的信息，*为必填项，输入完毕，点击"[阅读全文]
摘要: KAFKA生产消费组件1.前置步骤需提前部署kafka服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有[阅读全文]
摘要: 1.前置步骤需提前部署kafka服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有配置配套的kafka生[阅读全文]