1.事件管理
事件管理分为库表监听和文件监听,在调度中用于触发调度的执行。
库表监听就是行数发生变化,或者当前选取的时间戳字段发生变化时触发,文件监听是监听到文件存在时触发,在设置调度的时候选取事件驱动,用于控制调度的执行。
1.1事件列表
事件列表中可以新建事件监听、导入、导出事件、删除、刷新操作。
1.2文件监听
文件监听是指当文件夹里面的内容发生变化时,触发事件启动任务
Step1:在事件列表页面,点击“新建”在下拉菜单中选择“文件监听”。
Step2:在弹出的“文件监听”对话框,在对话框填写相应信息,如下图所示。
事件名称:文件监听名。
文件数据源:选择相应的文件传输代理或是FTP服务器。
文件路径:输入需要监听的文件夹路径。
Step3:点击“确定”按钮,完成新建文件监听操作,如下图所示。
1.3库表监听
库表监听是指当数据库表发生变化时,触发事件启动任务
Step1:在事件列表页面,点击“新建”在下拉菜单中选择“库表监听”,之后会弹出“库表监听”的弹框。
Step2:在弹出的“库表监听”对话框,在对话框填写相应信息,如下图所示。
事件名称:库表监听名。
数据源:选择需要监听的数据源。
数据库表名:选择需要监听的数据库表。
Step3:点击“确定”按钮,完成新建库表监听操作,如下图所示。
1.4事件处理日志
日志显示的是所有监听事件的详细信息,包括每个事件的类型、数据源、触发时间及其状态和详情。
2.任务流调度
2.1新建任务流调度
点击”新建”功能按钮,系统将出现添加任务向导,引导用户一步一步地完成任务的添加和设置。
Step1:点击【新建】菜单,在选择任务交换流。
注意:
a. 一个调度任务只对应一个任务交换流,选中任务交换流后点击屏幕中间的“”按钮,即该选中的任务出现在页面右侧,表示页面右侧中的任务流将被添加到任务调度管理列表中。
b. 若想更换添加到页面右侧的任务交换流,那么将右侧的任务选中后,点击“”按钮,就可以重新选择想要添加的任务交换流。
Step2:
选择交换任务流,并点击“下一步”,如下图。
Step3:
完成交换任务调度向导窗口的相关设置,包括是否启用、名称、执行周期、是否重试及重试的次数和时间间隔、执行集群节点(选择后,该调度在所选集群节点下执行),设置完成后点击“下一步”。如下图
Step4:
设置调度任务的通知消息,可选择禁用,当选择通知消息为“异常时发送”或“运行时发送”时,可选择通知方式维“邮件”或者“短信”。选择“邮件”后需输入主题、收件人、正文,以及是否发送日志,选择“短信”后需输入短信签名、模板编号、收件人(由于日志内容太长,短信通知方式不支持发送日志),完成设置后点击“完成”即可完成调度任务的创建。
页面右上角有搜索框,搜索框内输入事件名称,点击搜索按钮,可进行模糊查询。
点击【重置】菜单,可清空搜索框中的内容,回到日志的第一页
点击事件类型后的筛选按钮,可根据选择的事件类型进行过滤。
选中文件监听,则筛选出事件类型为文件监听的事件,显示在页面中。若想取消这种过滤方式,点击“清除过滤”即可。
同理,点击状态后的筛选按钮,可根据状态进行筛选。
注:搜索框中输入的搜索条件可与“事件类型”和“状态”组合进行筛选过滤。
在页面下方可输入具体的页数,按回车键/点击搜索按钮进行搜索,页面跳转至指定的页数。
2.2任务流调度监控
任务调度监控页面分为列表显示和图形显示两种展示方式。
2.2.1列表显示选择调度管理的某个调度单击,则可以进入ETL调度监控界面。
列表显示界面,将其分为三部分,顶部工具栏,中部(序号1)展示当前调度任务的执行情况,底部(序号2)展示调度任务中交换任务包含的组件执行情况(需点击交换任务)。状态共五种:执行完毕,等待,执行中,执行失败,取消(取消的情况:前一项任务执行状态为执行失败时,之后的任务将全部显示为取消状态)。
顶部工具栏:
“刷新”:点击按钮可刷新调度任务的执行情况。
“刷新设置”:设置时间间隔自动刷新调度任务的执行情况。
“立即运行”:立即执行当前调度任务。
“取消”:取消执行中的调度任务。
“日志”:点击“日志”按钮,展示当前调度任务的历史执行情况,鼠标悬停在列表详情栏时可以展现调度任务的详细执行情况。
点击左数右上方书本按钮可查看日志详情。
2.2.2图形显示图形化显示当前调度任务的执行情况,顶部工具栏比列表显示界面工具栏多了“放大”,“缩小”,“过滤”按钮,放大缩小按钮可对界面中的图形进行放大缩小操作,“过滤”按钮可选择执行状态来显示处于不同状态的任务。其余按钮与列表显示界面工具栏相同。
2.3任务流调度断点续跑
本章节主要介绍了在调度执行过程中如何进行断点续跑提高任务的执行效率。
2.3.1前提条件用户已新建任务流调度。
2.3.2应用场景在实际项目的任务调度过程中,往往涉及到几十上百个抽取任务,这些任务在调度时会按照一定的顺序进行执行,当在执行其中一个中间任务出错时,后续任务会停止,此时需要进行调度任务重跑,但是目前重跑机制会将整个调度任务从头开始跑,比较耗时,对于执行过的成功任务完全没有必要重跑,只需要从任务报错的地方接着执行就可以了。
2.3.3操作步骤操作入口:【任务调度>任务流调度】
1)异常重试断点续跑
新建任务流调度配置信息界面,勾选重试,设置重试次数、间隔时间等。断点重跑在异常重试时生效。
2)手动执行断点续跑
用户收到异常短信或邮件时,任务流调度运行状态显示为执行失败,点击立即执行,断点续跑生效。
3.变更检测
本章节主要介绍了如何在平台设置变更提醒,检测出表结构的变更信息,并发送给平台管理员进行处理,提高任务执行效率。
3.1前提条件
用户已新建任务。
3.2应用场景
在数据交换或者批处理过程中,往往很多时候输入输出端结构发生了变化,而在平台不能得到及时通知和告警,导致下次任务出现异常或者直接失败。
某用户对输入输出源的某个表结构做了修改,新增和删除了一些字段,平台自动检测出来表结构变更信息,并发送消息给平台管理员进行处理。
3.3操作步骤
操作入口:【任务调度>变更检测】
1)定期检测
点击新建进入新建变更检测界面,默认设置完成后启动,填写检测名称、选择任务(任务可多选),选择执行周期,填写通知方式等信息,点击确定。
注:检测范围为表结构或视图(字段类型、字段长度、新增字段、修改字段、删除字段)、FTP文件服务器(路径)、接口(返回格式、参数)。
2)编辑定期检测
勾选需要编辑的定期检测,选择“...”,点击编辑可对定期检测进行编辑操作。
3)禁用/启用定期检测
勾选需要启用/禁用的定期检测,点击禁用/启用对定期检测进行操作。
4)删除定期检测
勾选需要删除的定期检测,可单一或批量对定期检测进行删除操作。
5)导入/导出定期检测
点击更多操作,可对调度进行导入导出操作。
6)手工检测
可选择多个任务进行手工检测,并将有变化的任务标记出来。
注:检测范围为表结构或视图(字段类型、字段长度、新增字段、修改字段、删除字段)、FTP文件服务器(路径)、接口(返回格式、参数)。
平台管理员接收到消息内容包括:主题名称、受到影响的任务名称、检测到的变更内容、检测时间、任务列表链接。
7)查看检测结果
检测结果可以在站内信或者邮件中查看,也可以在变更检测列表中查看。结果以表格的形式展现。点击列表变更任务个数列,弹出检测结果对话框,可以点击任务名称直接编辑任务。
可以在定版任务列表看到一个任务的库表是否发生变更。
4.实时调度
本章节主要介绍了如何新建实时调度任务对实时数据处理流程进行调度管理与监控。
4.1前提条件
用户已配置实时任务并发布。
4.2应用场景
管理员创建实时数据处理的ETL后,需要对ETL任务进行实时调度,并监控调度状态。
4.3操作步骤
操作入口:【任务调度>实时调度>新建】
1)新建实时调度任务
点击新建分组可新建分组,输入分组名称后在分组下新建实时调度任务。
点击新建按钮,选择已发布的实时任务,点击下一步。
跳转到配置信息界面,输入任务名称,选择异常后操作以及执行节点(选择后,该调度在所选集群节点下执行),点击下一步。
跳转到通知设置界面,选择异常时发送,任务异常时,可配置通知信息,点击完成。实时调度任务状态为等待运行。
2)编辑实时调度任务
勾选需要编辑的实时调度任务,点击编辑,可对实时调度任务进行编辑,编辑完成后点击完成。
3)启动实时调度任务
新建实时调度任务后,点击启动,可执行实时调度任务,对于异常中断的任务点击启动后可再次执行任务。
对正在运行的实时调度任务可手动停止运行。
4)导入/导出实时调度任务
选择需要导出的实时调度任务,点击导出,可下载导出文件。
点击导入,选择需要导入的实时调度任务文件,点击确定。
5)删除实时调度任务
勾选需要删除的实时调度任务,可实现单一或批量删除任务。
6)移动/刷新实时调度任务
点击移动可将单个或多个任务进行移动。
点击刷新,实时调度界面将更新实时调度任务的运行状态。
请先登录