1. 总体调度监控
本章节主要介绍了如何在监控中心查看整体调度情况或某一类任务的整体调度情况。
1.1 前提条件
用户已维护数据源、任务管理、任务调度。
1.2 应用场景
各模块零散的调度任务的监控比较零散,每次需要进入单独的模块去查找,这样既不便于管理,也不利于整体把控调度的监控情况。
用户点击监控中心,可以从整体上看到调度情况,了解是否一切平稳运行。
用户在监控中心单独查看某一类任务整体情况,点击进去能看到单个任务的运行情况。
1.3 操作步骤
操作入口:【监控中心】
1)节点信息监控
主要是对节点监控、交换监控。
节点异常监控包括节点与中心节点无法连通、物理资源异常(含CPU、内存、磁盘)、数据源访问异常(含数据库是否正常连通、接口是否正常访问、FTP服务器是否正常访问、MQ服务器是否正常访问),点击能定位异常的数据源。
节点配置统计,主要显示按节点分类型统计数据源个数,并且能定位到具体的数据源,采用列表显示,列表字段包括:节点名字、分类型数据源个数(数据库、接口、FTP、MQ),点击个数跳转到对应的数据源位置,调度个数统计(调度数统计口径:调度状态为启用禁用状态。以交换任务输入或输出中数据源属于该节点的任务进行计数(去重),包括定时调度和实时调度)。
1.1中心端节点卡片
数据源可用个数:该节点下数据源能连通的个数+文件数据源个数+接口数据源个数。
数据源无效个数:该节点下数据源不能连通的个数。
调度启动数:该节点下所有数据源被哪些任务关联,任务或者任务流被哪些调度关联,统计这些调度中启动的个数。
调度禁用数:该节点下所有数据源被哪些任务关联,任务或者任务流被哪些调度关联,统计这些调度中禁用的个数。
硬件使用情况:统计中心端节点部署的主机硬件使用情况。
1.2前置应用节点卡片
1.2.1能和中心端连通
数据源可用个数:统计逻辑和中心端节点一致,统计的是前置应用部署所在主机上的数据。
数据源无效个数:统计逻辑和中心端节点一致,只统计的是前置应用部署所在主机上的数据。
调度启动数:统计逻辑和中心端节点一致,只不过统计的是前置应用部署所在主机上的数据。
调度禁用数:统计逻辑和中心端节点一致,只不过统计的是前置应用部署所在主机上的数据。
硬件使用情况:统计前置应用节点部署的主机硬件使用情况。在数据源中配置系统节点时需要填写前置应用地址。
1.2.2不能和中心端连通
数据源可用个数:统计逻辑和中心端节点一致,统计的是前置应用部署所在主机上的数据。
数据源无效个数:统计逻辑和中心端节点一致,统计的是前置应用部署所在主机上的数据。
调度启动数:统计逻辑和中心端节点一致,只不过统计的是前置应用部署所在主机上的数据。
调度禁用数:统计逻辑和中心端节点一致,只不过统计的是前置应用部署所在主机上的数据。
硬件使用情况:由于不能和前置应用节点部署的主机连通,所以统计不了硬件使用情况,使用情况都为百分之零。
1.3逻辑节点卡片
数据源可用个数:统计逻辑和中心端节点一致
数据源无效个数:统计逻辑和中心端节点一致
调度启动数:统计逻辑和中心端节点一致
调度禁用数:统计逻辑和中心端节点一致
硬件使用情况:由于是逻辑节点,硬件使用情况不统计。
1.4右上角图标说明
有该图标,表示该节点下有无效数据源;没有该图标,表示该节点下没有无效数据源。点击该图标会弹出无效数据源列表弹框。
2 异常监控
本章节主要介绍了如何在监控中心查看整体调度情况或某一类任务的整体调度情况。
2.1 前提条件
用户已维护数据源、任务管理、任务调度。
2.2 应用场景
数据在交换时发生了报错,是节点之间网络不通,还是同时传输的数据量太大,发生了阻塞,错误的原因在哪里,数据是怎么做的交换,从哪个节点交换到哪个节点,用户均无法直观看出来。故利用异常监控可查看整体调度情况或某一类任务的整体调度情况。
1、管理员打开交换监控工作台,能够非常清楚的看到哪些节点目前有异常,并且能够对异常情况进行处理。
2、管理员能够清楚看到节点交换过程存在哪些异常信息,并能够对异常情况进行处理。
2.3 操作步骤
操作入口:【监控中心>数据源>异常监控】
1)调度异常监控
所有类型任务调度异常总体监控。包括调度异常监控(交换任务、批处理任务)、异常调度次数最多TOP5、任务预警(耗时异常的任务调度)。
单类型任务调度异常监控:包括交换任务调度异常监控。
操作入口:【监控中心>数据源>异常监控>调度异常监控】
1.1调度异常查询
可按时间进行调度异常筛选
注:条件按钮组说明。比如今天是2021-05-27 16:33:00。“今天” 按钮条件表示时间大于2021-05-27 00:00:00;“3天” 按钮条件表示时间大于2021-05-24 00:00:00;“一周” 按钮条件表示时间大于2021-05-20 00:00:00。“1个月” 按钮条件表示时间大于2021-04-27 00:00:00;
1.2调度异常
可在调度异常卡片界面查看执行失败的调度任务,点击详情可查看调度任务详情信息。
1.3定时调度异常任务
可以对启用的定时调度异常次数进行统计并显示,光标放上去可显示失败次数。
1.4实时调度异常任务
可以对启用的实时调度异常次数进行统计并显示,光标放上去可显示异常次数。
1)交换异常监控
交换异常监控,显示哪些节点之间出现了交换过程失败,按时间降序排列,支持按时间筛选,默认显示全部,并且可查看异常详情;采用列表显示,列表字段包括:交换任务名称、所属调度名称、发送节点、接收节点、状态、交换异常时间、交换耗时、执行周期、操作(异常详情)。
操作入口:【监控中心>数据源>异常监控>交换异常监控】
2.1交换异常查询
可通过任务名称、系统节点、交换时间对交换任务进行查询。任务名称条件支持模糊查询。
2.2异常调度列表
筛选后能在交换异常监控页面查看交换任务,点击详情可查看交换任务调度详情。
2)任务预警
操作入口:【监控中心>数据源>异常监控>任务预警】
任务预警列表可以查看调度任务的最后(上次)运行耗时大于近期平均耗时的任务,作为预警信息。
点击详情可查看调度任务调度详情。
3 任务调度统计
本章节主要介绍了如何在任务调度统计界面对总体调度和交换调度的数量进行统计与查看。
3.1 前提条件
用户已维护数据源、任务管理、任务调度。
3.2 应用场景
数据在交换时发生了报错,是节点之间网络不通,还是同时传输的数据量太大,发生了阻塞,错误的原因在哪里,数据是怎么做的交换,从哪个节点交换到哪个节点,用户均无法直观看出来。
管理员能在任务调度统计界面看到节点统计信息,交换的统计信息,能够全面掌握交换过程。
3.3 操作步骤
操作入口:【监控中心>数据源>任务调度统计】
任务调度统计主要包括所有类型任务数量、调度数量(执行中、成功、异常、等待)、运行耗时TOP5、调度时间分布、节点交换统计、节点间交换统计、实时任务统计。
1)总体调度统计
操作入口:【监控中心>数据源>任务调度统计>总体调度统计】
1.1总体调度查询
可按时间进行调度统计的筛选。
900
注:条件按钮组说明。比如今天是2021-05-27 16:33:00。“今天” 按钮条件表示时间大于2021-05-27 00:00:00;“3天” 按钮条件表示时间大于2021-05-24 00:00:00;“一周” 按钮条件表示时间大于2021-05-20 00:00:00。“1个月” 按钮条件表示时间大于2021-04-27 00:00:00;
1.2调度情况
可在总体调度统计卡片界面查看统计信息。
统计的对象数据范围是调度,这些调度是指,该系统节点下数据源被哪些任务或任务流关联,这些任务或任务流被哪些调度关联。
调度总数(个数):该系统节点下数据源被哪些交换任务或批处理任务或任务流关联,这些交换任务或批处理任务或任务流被哪些调度关联。这些调度执行的创建时间在上述时间范围条件中的调度个数。
异常(次数):上述的这些调度中,调度执行过程中,出现异常的次数。
成功(次数):上述的这些调度中,调度执行过程中,执行成功的次数。
执行中(个数):上述的这些调度中,处在执行中状态的调度个数。
等待(个数):上述的这些调度中,处在等待状态的调度个数。
交换任务数:该系统节点下数据源被哪些交换任务关联,这些交换任务的个数。
批处理任务数:该系统节点下数据源被哪些批处理任务关联,这些批处理任务的个数。
1.3实时调度
1.4调度耗时排名
查询出定时调度(调度的是任务流)执行耗时大小的倒序数据列表,最多取其中的前五条数据。
1.5调度时间分布
统计的对象数据范围是调度,这些调度是指,该系统节点下数据源被哪些任务或任务流关联,这些任务或任务流被哪些调度关联。
统计该节点下调度执行日志中,每一小时范围内,调度执行的次数。
2)交换调度统计
交换调度统计可统计各节点接收发送的次数,节点下各类型数据量(文件:M,数据库:条,接口:条),支持选择参数(参数为节点和时间段)。
节点之间交换统计,可根据发送方、接收方来统计累计交换的数据量,交换的数据量支持分类型,支持选择参数(参数为时间段、发送方、接收方),支持下钻显示具体交换任务列表,交换任务列表需要带上交换任务时长。(列表展示发送方、接收方、发送类型、接收类型、交换成功次数、交换失败次数、交换数据量(口径为接收数据量))。
注:程序控制交换任务不允许出现并行的输入输出,否则无法统计或统计不准确。
3)操作入口:【监控中心>数据源>任务调度统计>交换调度统计】
2.1交换调度查询
可通过任务名称、交换时间对交换任务进行查询。任务名称条件支持模糊查询。
2.2交换调度列表
筛选后能在交换调度统计页面查看交换情况与交换次数统计量,点击失败次数跳转到交换异常监控界面。
库表交换情况:指的是交换任务交换了多少个表。
文件交换情况:指的是交换任务共交换了多大的文件。
3)实时调度统计
监控中心实时调度统计可以记录所有系统下所有已发布的实时任务的记录输入条数、记录输出条数与记录错误条数(暂时屏蔽)并通过计算统计出记录吞吐量、记录准确率(暂时屏蔽)、批吞吐量。
请先登录