1.概述
任务流调度用于定时执行ETL任务流。创建任务流调度的两个入口如下图。
2.创建调度任务
Step1:新建任务流调度
点击新建,弹出新建任务流调度对话框。
Step2:选择ETL任务流
在新建任务流调度页面,在【待选任务流】中单击选中要调度的任务流,然后点击向右的箭头,当右侧显示已经选择的任务流说明选择成功。也可以在【待选任务流】中双击进行选择。
如需要取消选择的任务流,选中【已选任务流】中的任务流,点击“向左”的箭头,当右侧不再显示该任务流说明取消成功。
如需将【待选任务流】所有的任务流移至【已选任务流】中,点击按钮即可;反之若需将【已选任务流】中所有的任务流取消选中,点击按钮
即可。
Step3:设置执行时间
点击“下一步”,调度默认为“启用”状态,继续设置“标题”(标题默认为各任务流名称,可添加前后缀)、“执行周期”和执行时间等。页面提供了按照年、月、周、天四个维度的配置,目前只支持输入数字,也可以自定义执行周期。
以下列举几个场景的示例:
如每周一的早8:00执行该任务,配置如下:
如每月1日24:00执行,配置如下:
当页面配置不能满足需求时,可以自定义Cron表达式设置执行时间。表达式目前支持的最细粒度为秒级。点击“测试”可检测当前表达式是否正确。
Cron表达式是一个由6个子表达式组成的字符串。每个子表达式都描述了一个单独的日程细节。这些子表达式用空格分隔,分别表示: 秒(0~59) 分钟(0~59) 小时(0~23) 天(月)(1~31,取决于月份) 月(1~12) 天(星期)(可使用数字或英文缩写,如1或者MON,其中0和7都代表星期天(SUN)) 其中每个元素可以是一个值(如6),一个连续区间(9-12),一个间隔时间(8-18/4)(表示8-18中每隔4(分钟、小时......取决于子表达式)),一个列表(1,3,5),通配符。由于"月份中的日期"和"星期中的日期"这两个子表达式是互斥的,必须要对其中一个设置"?"。
| |
Cron示例 | 含义 |
0 0 10,14,16 * * ? | 每天上午10点,下午2点,4点 |
0 0/30 9-17 * * ? | 朝九晚五工作时间内每半小时 |
0 0 12 ? * WED | 表示每个星期三中午12点 |
0 0 12 * * ? | 每天中午12点触发 |
0 15 10 ? * * | 每天上午10:15触发 |
0 15 10 * * ? | 每天上午10:15触发 |
0 * 14 * * ? | 在每天下午2点到下午2:59期间的每1分钟触发 |
0 0/5 14 * * ? | 在每天下午2点到下午2:55期间的每5分钟触发 |
0 0/5 14,18 * * ? | 在每天下午2点到2:55期间和下午6点到6:55期间的每5分钟触发 |
0 0-5 14 * * ? | 在每天下午2点到下午2:05期间的每1分钟触发 |
0 10,44 14 ? 3 WED | 每年三月的星期三的下午2:10和2:44触发 |
0 15 10 ? * MON-FRI | 周一至周五的上午10:15触发 |
0 15 10 15 * ? | 每月15日上午10:15触发 |
Step4:设置通知消息
设置好执行周期后点击【下一步】,配置通知消息、通知方式等。通知消息支持三种方式:
① 异常时发送:执行调度出现异常时发送通知
② 运行时发送:在调度执行结束后发送通知
③ 禁止(默认):不发送通知
通知方式支持四种方式:邮件、企业微信、钉钉和短信,支持同时选择多种方式通知。
① 当消息类型选择“邮件”时,需要先在系统上配置发件箱信息,配置后在当前页面设置收件人、主题、备注,还可以勾选“发送日志”,将执行日志一并发送给收件人。(可参考《企业消息集成-发件邮箱配置》)
② 当消息类型选择“企业微信”时,需要先在系统上配置企业微信应用,配置后在当前页面设置收件人或备注。(可参考《企业消息集成-企业微信配置》)
③ 当消息类型选择“钉钉”时,需要先在系统上配置钉钉应用,配置后在当前页面设置。(可参考《企业消息集成-钉钉配置》)
④ 当消息类型选择“短信”时,需要先在系统上配置短信服务器,在机构用户处配置好收件人的电话信息,然后在此页面选择收件人(可参考《企业消息集成-手机短信服务商配置》)。
设置好后,点击【完成】,完成创建。
Step5:运行监控
调度任务创建完成后,可查看任务的运行状态和下次执行时间等。手动执行可点击【立即运行】。
调度执行后可通过两个入口查看调度执行记录,第一个入口是直接从任务流调度管理列表界面点击调度标题查看。
也支持从【运行监控】-【调度监控】节点选择调度执行记录进行查看。
运行监控-调度监控列表页面会记录权限范围内所有调度的执行记录,列表记录字段包含有调度标题、调度类型、计划执行时间、计划开始时间、执行耗时、重做次数、重试类型、执行类型、执行者、状态、操作。
支持按照调度标题、调度类型、执行类型、执行者、状态对调度执行记录进行筛选。
列表默认按执行开始时间升序排列。
1.1层级展示
支持以树结构层级展示该调度下任务流的层级关系。
点击任务流的按钮可跳转至任务流资源的设计器界面。
1.2自动刷新
点击可刷新当前任务运行状态。点击
可以设置监控页面自动刷新的时间,【刷新设置】,单位为秒。
1.3查看历史执行记录
点击查看调度任务的历史执行日志。
1.4列表展示
选择指定层级的任务流资源后,左侧支持以列表形式展示该任务流信息以及任务下的任务信息。
且任务信息列表有一个操作列,支持对当前行的任务进行查看详情、重做、强制成功、断点、取消断点操作。使用方法参考日志区。
1.5图形显示
若以【图形显示】查看,则如下图
选择图形中的组件图标右键,右键菜单项中出现列表界面的操作栏按钮,相关操作都可以正常支持。
任务流监控主要记录所有调度执行过程中所有任务流的执行记录信息,列表包含的信息字段有任务流标题、调度标题、计划执行时间、执行开始时间、执行结束时间、执行耗时、重做次数、执行类型、状态、操作。
点击任务流标题跳转该任务流的任务监控页面,查看该条执行记录中有哪些ETL任务及嵌套任务流任务的被执行。
任务监控主要记录所有调度执行过程中所有任务的执行记录信息,列表包含的信息字段有任务标题、任务类型、调度标题、任务流标题、计划执行时间、执行开始时间、执行结束时间、执行耗时、重做次数、执行类型、状态、操作。
同日志区一样支持在任务监控页面对历史执行的任务进行查看详情、重做、强制成功操作。
查看详情:查看任务执行的详情信息
重做:对该任务进行重新执行,重做后会对该任务后续依赖任务都重新执行一遍,重新生成一条任务流、调度执行日志。
强制成功:对执行失败的任务进行状态修改,其实执行成功,强制成功后会对该任务后续依赖任务都重新执行一遍,生成一条新的任务流、调度执行日志。
Step6:事件管理
事件管理主要是对驱动任务流调度执行的监听事件进行新建、编辑及删除的管理操作。
以数据库表为监控对象,检测指定库表中的时间戳字段是否发生变化,发生变化则认定事件被触发,事件绑定的所有调度任务流将自动执行。
有”文件监听”和”库表监听“两种。
以”文件“或”文件夹“为监控对象,检测指定文件内存是否发生变化,或指定文件夹下文件是否发送变化,发生变化则认定事件被触发,事件绑定的所有调度任务流将自动执行。
文件夹监听:
文件监听:
填写事件标题,选择要监听的库表及时间戳字段。
创建监听的库表事件或文件事件后,需要将事件添加至任务调度监听中,可前往【系统管理】-【系统设置】-【任务调度参数】配置页面进行添加。
点击【新建】按钮可新增一行监听参数,配置监听开始时间、结束时间、监听的间隔时间以及监听的事件范围。
4、任务流调度绑定事件
在新建或者编辑任务流调度时,在【设置任务执行周期】处对【事件驱动】参数进行选择,下拉框选择权限范围的监听事件,选择任务流调度与该事件绑定。
多个任务流调度支持选择同一个事件进行绑定,单个任务流调度只能选择一个事件进行绑定。
任务流调度绑定监听事件后,事件触发调度执行都会有事件处理日志。可前往事件管理-事件处理日志Tab页进行查看。
3.监控调度任务
调度任务创建完成后,可查看任务的运行状态和下次执行时间等。手动执行可点击【立即运行】。
列表中【最后(上次)运行状态】列显示当前调度任务状态。【执行成功】表示已经运行完成。也可以点击调度的标题进入调度任务的监控页面,有”列表“和”图形“两种方式查看任务的运行状态和进展。
列表显示:
图形显示:
在“列表显示”方式下,点击”查看详情“,可看到日志详情。
点击可刷新当前任务运行状态。点击
可以设置监控页面自动刷新的时间,【刷新设置】,单位为秒。
点击查看调度任务的历史执行日志。
4.调度任务支持断点续跑
当定时任务出现异常后,下次运行会提示是否从异常处开始运行。
操作说明:
任务调度/任务流调度中,点击单条调度立即执行,如果该调度上一次执行异常了,则会提示是否从上次失败处继续运行
注意事项:
1) 断点续跑的最小粒度只支持到任务。假设调度的任务流中包含有3个任务,每个任务中又包含多个组件。 当第二个任务中的某个组件执行异常后,断点续跑不会接着第二个任务中执行异常的组件往后执行,而是从第二个任务的第一个组件开始执行(第一个任务直接略过)。
2) 断点续跑只有在手动点击立即执行时有效。 如果任务是定期自动执行,则不采取断点续跑规则。
请先登录