1.表输入
1.1 功能介绍
表输入组件用于从数据库连接池中选择源表进行数据的抽取,作为后续组件的数据来源。
1.表输入组件用于从数据库中选择源表进行数据的抽取。
2.表输入是单向组件,只能与其它组件的输入端进行连接。
1.2 增量更新设置
1.表输入增量更新主要是基于各种更新策略从输入端提取新增、新修改、新删除的数据集合作为数据源,传给下游。
2.增量更新方式:时间戳增量,全表比对增量,MD5增量,触发器增量。
3.每种增量更新方式都有对应的增量历史表,为系统内置的。
2.主题表输入
主题表输入组件用法和表输入组件一致,不同的是表输入是选择物理表,而主题表输入选择的是主题表作为数据源。
3.平面文件输入
可以以服务器上的TXT/CSV等文本文件作为数据源,也可以输入本地路径,进行数据抽取。
可以进行格式设置:
点击刷新可刷新出字段列表:
4.Excel输入组件
4.1 基本功能
支持从excel文件中获取数据进行etl处理,excel输入组件支持的文件后缀为xls和xlsx。
4.2 基本设置
选择文件源:
设置文件格式:
刷新编辑字段:
5.SQL输入
支持直接以查询类SQL语句作为数据源,进行数据抽取。
6.表输出
6.1 功能概述
表输出组件用于将前置组件获取到的结果集,加载到目的连接池的数据库表中。
6.2 基本设置
7.主题表输出
主题表输出组件用法和表输出组件一致,区别在于模型输出最终数据加载到的是主题表对应的物理表中。
可以选择已存在的主题表或新建主题表并选择新建的主题表的存储位置。
新建主题表的名称即输入的名称,主题表对应的表的名称由后台创建,当新建主题表已经运行过一次,再次运行时会判断是否已经建好,
若已经创建则不再重复创建,直接将运行结果输出到已创建的表中。
8.平面文件输出
可以将前置组件获取到的结果集,写入到服务器上指定的TXT/CSV文本文件中。
9.Excel输出组件
9.1 功能概述
将经过etl过程处理后的数据落地到excel文件中进行保存,和表输出组件一样作为输出端。excel输出组件支持保存的文件格式为xls,xlsx。
9.2 文件设置
字段列表界面提供选择需要输出的字段信息,所有字段来自前置组件的输出字段,可通过"选择"按钮选择所需字段。
sheet页:可以指定要保存数据的sheet页的名字,不输入时,会生成默认名"sheet"。
首行为字段名称:勾选之后,就会将字段列表界面的字段信息写入到文件的首行中,不勾选,则不写入字段信息。
请先登录