任务管理

1.概述

任务管理，可将分散建设的若干业务系统进行整合，可实现若干个业务子系统之间进行数据或者文件的传输和共享，提高信息资源的利用率，保证了分布在异构系统之间的信息的互联互通，完成数据的收集、集中、处理、分发、加载、传输，构造统一的数据及文件的传输交换。

任务管理中任务划分为三类

①　批处理任务，用于数据处理、清洗、脱敏等数仓基础操作。

②　交换任务，应用于库表、文件和接口的数据传输交换。

③　实时任务，应用于实时传输的场景，支持基于Kafka、Spark技术的实时数据传输处理，是一整套全新独立的组件。

任务管理具有如下特色：
1、设计区与运行区两个资源库，采用相互隔离机制，保证了运行区环境的安全和稳定。
2、多种可视化建模方式支持，设计者能便捷的完成模型的设计和维护。
3、提供丰富的传统组件和特色数仓组件，简化交换任务设计。
4、完善的数据加密传输技术和脱敏算法，为数据的安全性保驾护航。
5、灵活调度策略和可视化流程监控手段支持，保障数据的及时性和准确性。
6、支持数据缓存、断点续传和错误通知，保证系统的稳定性和可靠性。

2.运行区

2.1任务与任务流

运行区的交换任务和交换任务流是由设计区交换任务和交换任务流发布而来，在运行区可以对分组进行重新设置，也可以删除、移动、导入导出交换任务和交换任务流。

2.2创建任务调度

主界面选择交换任务流，选择需要创建调度的交换任务流，点击“创建调度”按钮，如下图。此处提供一种创建调度的方式。

创建调度的另一种方式是在查看交换任务流中，选择新建，即可创建调度。

3.设计区

3.1发布任务

交换任务分为设计区和运行区，只有发布的任务才能在运行区使用。

设计区的交换任务列表，点击单条任务后的“发布”或勾选多条任务后点击“发布”按钮，将该交换任务发布到运行区对应交换任务列表下。

选择发布交换任务的分组

该交换任务状态变为“已发布”

在运行区可以查看已发布的交换任务

3.2发布任务流

交换任务流分为设计区和运行区，只有发布的任务流才能在运行区使用。

设计区的交换任务流列表，点击单条任务流后的“发布”或勾选多条任务流后点击“发布”按钮，将该交换任务流发布到运行区。

选择发布交换任务流

该交换任务流状态变为“已发布”

在运行区可以查看已发布的交换任务流

3.3新建任务

在设计区下，右键左边菜单任务定义，可以选择新建分组、新建任务以及任务的导入导出。此时可以直接选择新建任务，进行任务的设计。

点击新建分组，写上分组名称，点击确定即创建完成。

点击新建，选择任务类型。

新建批处理、交换任务

任务编辑器界面，左侧（序号1）区域展示所有组件，可以选取所需组件，采用拖拽到中间（序号4）区域或者双击组件的方式将组件放置到编辑器中；顶部（序号2）为常用的操作，可以对当前的任务进行属性编辑、发布、设置参数、检查、运行等操作；底部（序号3）展示日志和检查信息；右测（序号4）区域为任务编辑区域，在这个区域对放置的组件进行设置、连线、布局等操作，如下图。

完成组件的布局及设置之后，点击顶部工具栏中的“保存”按钮，在保存的弹窗中可对当前任务的名称、标题、描述进行修改，点击“确定”即可创建任务。如下图。

完成创建后的任务，可以在任务编辑器界面的顶部工具栏点击发布按钮；或者在主界面点击任务并找到需要发布的任务，点击“发布”按钮，是否发布的弹窗选取“确定”即可；也可勾选交换任务前面的复选框后，点击顶部工具栏的“发布”按钮，实现同时发布多个任务。

新建实时任务

点击【新建】，选择“实时任务”，支持实时任务设计。

支持拖拽式设计实时任务，实时任务包含独立的一套组件，主要包括：表输入组件、文件输入组件、表输出组件、文件输出组件、kafka消费者组件、kafka生产者组件、实时数据清洗组件、支持日志型增量数据、聚合组件、脚本组件、表达式组件、过滤组件、sql脚本组件。任务设计界面同批处理任务界面一样，功能也相似，主要区别在于组件不同，同时实时任务运行时是一直运行直到取消或者终止。

支持对实时任务进行管理。可查看实时任务属性，支持对实时任务进行编辑、删除、发布、导出、移动、克隆操作。

注：实时任务首次执行时会对源表中的历史数据进行处理，再次执行后只针对源表中的新增数据进行处理。

另外发布时可选择发布到运行区的位置，可以保持与设计区分组一致，也可自定义分组。

发布操作将设计区交换任务发布到运行区。

3.4新建任务流

在设计区下，右键左边菜单任务流定义，可以选择新建分组、新建交换任务流以及交换任务流的导入导出。此时可以直接选择新建交换任务流，进行交换任务流的设计。

Step1：

点击新建分组，写上分组名称，点击确定即创建完成。

Step2：

点击交换任务流，下面出现刚新建的分组文件夹，右键可以在此分组文件夹下创建交换任务流，同时也可以继续创建子分组文件夹，继续相同的操作。

交换任务流界面与交换任务界面类似，最大区别在于左侧面板的由组件换成了任务列表。如下图：

Step3：

交换任务流的创建与交换任务的创建相同，点击“确定”即可完成创建。如下图。

设计区交换任务流的发布与设计区交换任务的发布相同。