1. 概述
ETL设计器提供可视化的ETL作业界面,支持作业的试运行和断点调试等,提供丰富的组件,能完成ETL数据加工的边调试边预览数据。本文档用于帮助大家了解ETL设计器。
2. ETL任务设计器介绍
2.1界面概览
ETL任务设计器界面概览如下:
2.2菜单栏
菜单栏包含ETL任务设计器所有的管理功能
1) 更多【更多】下有文件、编辑、查看、组件导入等菜单项。
l 文件
文件包含:
保存:保存ETL任务,同菜单栏中的功能。
另存为:另存为ETL任务。
检查:同菜单栏中,具体见检查。
清除检查标记:检查标记为执行检查操作时没有通过检查的组件右上角的叉号标记,如果想要取消该标记,可以点击清除检查标记。
l 编辑
编辑下包含:
撤销:撤销最近一次操作,支持无限次撤销,快捷键是CTRL+Z。
重做:重新执行刚撤销的操作,快捷键是CTRL+Y。
Cut:对编辑区内选中组件进行剪切,快捷键是CTRL+X。
复制:对编辑区内选中组件进行复制,快捷键是CTRL+C。
粘贴:对复制的内容进行粘贴,快捷键是CTRL+V。
删除:对选中组件进行删除,快捷键DELTE。
l 查看
对编辑区内容进行放大和缩小,分为实际尺寸(即100%)、按比例放大缩小、适合窗口。
【适合窗口】是将编辑区内容缩小到一屏显示。如下图所示ETL任务流,实际尺寸显示时有些组件已经超出屏幕可视范围。
点击“适合窗口”可以一键缩放到合适大小,一屏显示所有组件。
也可在菜单栏通过右上角的滑块进行调整。
图标:
点击弹出对话框,可设置ETL任务的名称、标题和描述。
项目 | 描述 | 规则 | 是否必填 |
名称 | 当前ETL任务名称 | 不能为空且不超过50个字符,只能由字母、数字、下划线组成,以字母开头 | 必填项 |
标题 | 当前ETL任务标题,其他组件中选择时显示此项 | 不能为空且不超过80个字符,只能由以下字符组成:汉字、英文大小写、数字、_、-、+、.、()、()、&、%、= | 必填项 |
描述 | 对当前ETL任务的详细描述 | 任意字符串 | 非必填项 |
图标:
点击即保存ETL任务。如果是首次保存,会弹出属性编辑界面,需要对ETL任务进行命名,如下图:
可以自行对ETL任务进行命名,也可以使用系统自动生成的名称和标题。
注:可以直接按 Ctrl+S快捷方式来保存。
图标:
点击即发布ETL任务到运行区。发布时,会弹出发布路径选择弹窗,包含“和设计区分组一致”和“自定义分组”两个选项。如下图:
和设计区分组一致:会发布到和当前ETL任务所在设计区的分组路径一样的路径中。如果运行区中路径不存在,则会创建对应路径。
自定义分组:选择运行区中已有的分组。
在点击确定发布后系统会自动执行检查,检查通过后才能正常进行发布,检查不通过会终止发布。
图标:
ETL任务每发布一次后就会存储一个历史版本,点击保存存为草稿。点击草稿按钮弹出历史版本列表,如下图:
在历史版本列表中点击某个版本可切换到该版本,点击保存存为草稿,点击发布生成最新版本。
这里用来定义ETL任务的输入参数,并且能给输入参数指定默认值。如下图:
l 名称
名称列表中罗列出当前ETL任务所有添加的参数,通过+/-两个符号可以添加和删除选中的参数。
l 属性
选中参数会在属性面板显示该参数属性,可以设置参数名称、标题、输入方式默认值和描述。
名称:不能为空,并且只能是字母、数字、下划线组成以字母开头;
标题:不能含有除汉字、英文大小写、数字、符号_-+.()()&%=之外的字符
输入方式:包含三种类型,分别是输入框、下拉选择框、日期选择框
输入方式 |
① 输入框 输入框支持单行输入和多行输入,单行输入只会将输入的值显示为一行,多行输入,输入的内容可以换行显示,如下图: ② 下拉框选择 支持枚举值和关联维两种下拉输入方式。 枚举值:枚举出所有可选值,可选值之间用英文分号“;”进行分割。参数可选值由显示值和实际值组成,显示值与实际值之间用英文冒号“:”分割,如2015年:2015;2016年:2016。 如果显示值与实际值一样,只写实际值即可,如2015;2016。 选中输入框会有参数值格式提示,如下图: 关联维:可以选择选择主题域、主题集中的维表和公共维表,如下如图: ③ 日期选择 此参数为只需要设置输出的日期格式即可,如下图: |
l 模板
可以将此次设计的参数组合保存为模板,以便于后续使用。如下图:
① 保存为模板
点击模板>保存为模板,输入模板名称后点击确定,可将当前参数组合保存为一个模板。
② 装入模板
点击装入模板,选择模板,可以将参数模板中的参数添加到当前参数设置中,如下图:
③ 管理模板
可以对服务器中存储的参数模板进行管理。选中参数模板后,点击“删除”按钮可以删除参数模板。选中参数模板后,点击“装入”按钮可以将参数模板中的参数添加到当前参数设置中,等同于“装入模板”功能。
图标:
检查ETL任务中各任务组件设置是否有语法错误。检查不通过时不允许发布,只能保存。检查不通过时,会在检查消息中输出报错信息。
需要根据检查信息的错误信息提示,对ETL任务中的组件进行修改,直至检查通过。检查过程中如果没有通过会在组件上打上不通过检查标记,如果想要取消该标记,可以点击文件>取消检查标记进行取消。
图标:
撤销最近一次操作,支持无限次撤销,快捷键是CTRL+Z。同更多>文件>编辑中的撤销。
图标:
重新执行刚撤销的操作,快捷键是CTRL+Y。同更多>文件>编辑中的重做。
图标:
对编辑区内的组件布局进行自动排版。
图标:
运行:执行ETL任务。
取消:中断正在执行的ETL任务。
图标:
拖动滑块可以对编辑区内容进行放大和缩小。也可以在滑动条右侧输入框中输入缩放值,然后敲击回车键或点击屏幕空白处。输入框中支持输入值的大小为10~200之间并且是5倍数的整数,例如10、15、2、25……
2.3组件区
组件区分为组件、导航面板、资源面板3个页签。
1)组件列表这里显示了制作ETL任务所有可用的组件。分为输入输出组件、快速装载组件、转换组件、流程组件、统计组件、数仓组件、脚本组件、其他组件等。
支持对常用组件进行收藏。
选中组件单击鼠标右键,点击“收藏”,可将当前组件收藏到【收藏组件】分组中。
对于已经收藏过的组件,选中组件单击鼠标右键,可以取消收藏。
点击可用定位查找组件区组件,支持按照组件名称模糊匹配。
2)导航面板这里显示了当前ETL任务用到的任务组件。在导航面板中单击组件节点,可选中编辑区中对应的组件,如下图:
在导航面板中双击组件节点,可打开对应组件的设置界面。
3)资源面板显示编辑区内可用的所有主题表资源,可将主题表拖入到编辑区中,系统会自动生成主题表输入组件。
2.4编辑区
编辑区是设计ETL任务的区域。根据数据处理需求,从左侧组件列表中找到所需组件,拖入到编辑区中,按顺序连接起来,并进行相应组件设置,全程界面化完成数据处理流程设计。
编辑区中组件可以拖动改变位置,双击打开组件编辑界面。
编辑区中支持框选组件。
在组件上右键可“编辑”、“删除”、“复制”组件,还可以通过先“运行到”后“预览数据”进行分步调试。
2.5日志区
日志:用于输出ETL任务运行日志。
检查消息:用于输出组件配置异常信息。
请先登录