摘要: 1.组件介绍ETL任务流升级改造为调度平台后,去掉了任务循环功能,在ETL组件得流程组件中新增循环节点组件,实现数据处理的循环和遍历功能。循环节点组件支持对ETL任务中支持现有组件得嵌套。基本配置:循环[阅读全文:]
摘要: 1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据,然后将其解析成结构化数据,并向后置组件输出。客户的一个接口返回的用户信息,姓名性别身份证家庭住址等等,这些信息是以JSON的[阅读全文:]
摘要: KAFKA生产消费组件1.前置步骤需提前部署kafka服务器,并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图,两数据源除适用环境不一致,其余的配置都是一样的。如果没有[阅读全文:]
摘要: 可针对定时调度、实时调度的执行运行情况按周期进行统计。1.定时调度执行过的调度总数:检查调度任务中组件的输入输出数据源是否为当前数据源系统下,是则纳入统计范围,同时根据调度运行时间按周期进行定时调度总数[阅读全文:]
摘要: 对数据源、数据整合以及调度平台下的资源进行监控,可全局掌握资源运行状态。监控范围包括:(1)数据源系统下各类型数据源的连通性(2)任务流调度、实施调度的启用/禁用个数统计(3)任务流调度、实时调度的执行[阅读全文:]
摘要: 任务流调度绑定监听事件后,事件触发调度执行都会有事件处理日志。可前往事件管理-事件处理日志Tab页进行查看。[阅读全文:]
摘要: 在新建或者编辑任务流调度时,在【设置任务执行周期】处对【事件】参数进行选择,下拉框选择权限范围的监听事件,选择任务流调度与该事件绑定。多个任务流调度支持选择同一个事件进行绑定,单个任务流调度只能选择一个[阅读全文:]
摘要: 创建监听的库表事件或文件事件后,需要将事件添加至任务调度监听中,可前往系统设置-参数配置-任务调度参数配置页面进行添加。点击【新建】按钮可新增一行监听参数,配置监听开始时间、结束时间、监听的间隔时间以及[阅读全文:]