指标管理

控制策略

控制策略作用任务流组件,设置组件控制属性使其在更加复杂的业务场景下也能正常按流程执行。

1.互斥资源

多个任务流组件之间支持通过配置互斥资源来进行互斥执行,配置相同互斥资源的组件同一时间仅支持运行一个。互斥资源为全局资源,环境下所有ETL任务流组件均可共同使用。

步骤1:创建互斥资源

双击组件进入组件编辑页面,点击控制策略tab页,点击互斥资源下拉框,在输入框中输入互斥资源名称定义,点击右侧按钮新增一个互斥资源对象。

步骤2:选择互斥资源

一般互斥资源针对ETL任务组件及任务流组件设定,在ETL任务及任务流组件的控制策略中勾选互斥资源对象,并设置超时时间。

互斥资源支持选择多个,但判断两个组件是否为互斥任务是根据所选互斥资源是否完全相同来判断的,如果只是部分相同则认为这两个任务并不互斥。

超时时间:超时时间内未发起运行的组件自动定义为执行失败,且超时导致失败的任务不参与重试

场景说明:

小数据量1和小数据量2任务设置了相同的互斥资源,且两个任务都设置了超时1秒,此时两个任务将随机选择一个发起执行,另外一个任务则等待上一个执行完成再执行,同时考虑等待时间是否超出1秒,若超出则直接判定等待任务执行失败,若未超出则在上一个任务执行后正常执行等待任务。

2.依赖资源

两两任务之间支持配置属性依赖关系,依赖任务必须等待被依赖任务执行通过才会继续执行,否则一直处于等待执行状态直至超时。

步骤一:选择依赖任务

双击组件进入组件编辑页面,点击控制策略tab页,点击依赖任务下拉框,依赖任务对象支持选择当前画布设计器下的任意组件,也支持选择权限范围内的其他ETL任务和ETL任务流。

支持选择多个依赖任务对象,当选择的依赖对象含有画布外的ETL任务或ETL任务流时将自动在画布下方创建ETL任务组件或任务流组件。

当自动创建的依赖任务组件在画布被删除时,依赖关系自动清除。

超时时间:依赖任务在超时时间内执行完成则当前任务开始执行,否则直接认定执行失败,且超时导致失败的任务不参与重试。不设置则无超时时间。

步骤二:执行依赖任务

当画布任务组件设置了属性依赖关系,依赖任务会等待被依赖执行通过再开始执行

当依赖任务中存在执行异常的任务时,依赖任务将不再执行

当依赖任务设置超时时间为1秒,而被依赖任务执行时间超出1秒时,当总体执行时间超出1秒时,则自动判定依赖任务执行失败。

3.优先级

在同一画布设计器下,未设置依赖关系的组件将并发执行,定义组件的优先级可指定部分组件优先执行。
双击组件进入组件编辑页面,点击控制策略tab页,点击优先级下拉框,优先级从高到低依次为最高、高、中、低、最低,高优先级的任务优先发起执行,相同优先级的任务在线程资源充足的情况下并发发起执行,不足则随机发起执行。
将系统设置-参数配置-线程池设置下的【调度任务的最大线程数】设置为1,然后并发运行同一个ETL任务流下面设置了不同优先级的ETL任务,优先级高的任务将先发起执行,优先级低的将后发起执行。

4.断点标志

部分业务场景在任务执行过程需要人工参与干预,对任务组件设置断点属性,可让任务流程执行到断点任务时临时中断,人工干预后取消断点可让任务流程继续执行。
双击组件进入组件编辑页面,点击控制策略tab页,断点标志为单选框参数,单选断点运行给该任务组件加上断点,任务流运行至此会临时中断等待人为干预。默认选择正常运行。
例如以下场景中,当市教育局将学生成绩数据传输至学校服务器时,需要人工参与检核是否完整,校验完整才可上传学校教务系统,则可对上传教务系统的任务设置断点。
右键断点组件点击取消断点按钮或者点击日志中的取消断点操作,可完成断点取消让ETL任务流正常往下执行。

5.重试

针对任务组件设置重试机制,当组件执行失败时按照配置的重试间隔时间和重试次数进行重试执行。
双击组件进入组件编辑页面,点击控制策略tab页,开启重试功能并设置重试次数和重试间隔时间。
该任务将在首次执行失败后间隔一分钟发起第一次重试执行,当第一次重试执行的结果也为失败时,再间隔一分钟发起第二次重试执行,当第二次重试执行的结果同样为失败时,则认定任务执行失败,此时记录重试次数。
点击操作栏的【查看详情】按钮可查看重试执行的记录。

附件列表

0

文档内容仅供参考
如果您需要解决具体问题,还可以登录亿信社区
在提问求助板块提问,30分钟内帮您解决问题

如果您认为本词条还有待完善,请编辑

上一篇任务流设计器界面日志区

下一篇条件执行

请先登录