2020亿信ABI

ETL组件-数仓组件

1.行转列组件

1.1 基本功能

可以将源表中的行记录,按照规则转换到列上。

1.2 基本设置

l  点击选择字段,可以进行添加修改分组字段,相同字段不能被重复添加,点击选择字段时,已添加的字段应该会被勾上

l  选择转换字段,下方会自动出现转换字段的值。

l  选择取值字段,会自动根据取值字段_转换值进行命名,可以人工修改。

l  点击预览可以查看效果。

数仓组件

2.列转行组件

2.1 基本功能

它与行转列正好相反,可以将源表中的行记录的多列,按照规则转换成多行记录。

2.2 基本设置

l  需要手动设置转换字段的名称和取值字段的名称

l  选择转换字段后,下方会出现转换字段,需要手动设置转换值

l  点击预览,可以查看设置的效果。可以看到sql和对应的数据。

数仓组件

3.维度转换组件

3.1 功能概述

维度转换组件是将系统中的层级维转换为通用维

1)         组件功能为:将服务器中的层级维转化为通用维,生成一个新的维表;

2)         转化之后生成的列名允许编辑(即如果一个行政区划的层级维转换成通用维,会出现省--县多列数据,每列的列名允许用户自己编辑);

3)         该组件为单向组件,只能连接其他组件的输入端。

3.2 基础设置

数仓组件

1)         选择服务器中的层级维;

字段列表是根据层级维的分段信息以及通用维生成规则来生成的。原始ID、NAME字段字段名称不可编辑,生成的字段名称可以编辑,所有的字段描述都可以编辑。

4.一致性维度组件

4.1 基本功能

可以对源数据中的维字段进行统一编码,保证维度的一致性。

4.2 基本设置

一致性维度组件的设置分为:

l  基本设置

l  批量设置

一般设置采用的是拼接CASE..WHEN的SQL语句来实现维度的一致性转换;

一般设置采取一一对应的方式来设置,批量设置的话采用的是JOIN的方式来实现的:

1)         勾选启用批量设置,然后当选择维表之后,下面的两个下拉框会加载相应维表字段;

2)         维表ID字段与维键字段一一对应,当其相等时取维表取值字段的值;

3)         如果填写了默认值,不相等时取默认值,没填默认值的话,不相等时值不变。

数仓组件

5.列转多行组件

5.1 基本功能

可以将源表中的行记录的某列值,按分隔符的转换多行记录。

5.2 基本设置

l  被拆分字段:来源于前置组件的输出字段。

l  分隔符:拆分字段记录的依据(如上面例子中的逗号",")。

l  新字段名称:拆分后的列的字段名。

数仓组件

6.周期快照组件

6.1 功能概述

周期快照以具有规律性的、可预见的时间间隔来记录事实,是发现数据变化规律的重要方式。

周期快照组件是将有缓慢变化的历史表转换成一定间隔周期的表。

1)         从缓慢变化的历史表(from/to)转换为一定间隔周期的表;

2)         选择设置数据来源的历史表,以及该表的from/to字段;

3)         周期更新设置一个更新周期:年、季、月、日;

4)         如果拉链表数据有缺失时间段,取前一个周期数据进行补充;

5)         输出给后续组件除from、to字段以外所有字段,并自动添加一个周期字段用来存储周期。

6.2 基础设置

数仓组件

分组字段可选可不选,不选分组字段时按照所有的时间周期来判断是否填充,选择分组时按照组内时间周期来判断是否填充。

7.拉链表组件

7.1 功能概述

拉链表组件的主要功能是将前置输入的周期表转成拉链表,并根据当前组件设置的更新策略插入到当前组件选择的数据库表中。

7.2 基础设置

数仓组件
选择需要输出的表名
数仓组件

1)         时间字段和周期是针对前置组件进行设置;

2)         关键字字段的下拉选项是根据字段映射选择的字段来源添加的字段,只有有字段来源的字段才被添加;

3)         默认是有比较字段的,只是界面没有显示,根据字段映射选择的映射字段中除了被选为关键字字段的其他字段默认为比较字段;

4)         起始时间字段和结束时间字段的下拉选项是本组件选择的表的所有字段名;

更新策略有两种,一种是数据覆盖,会清空目标表,一种是插入更新,有对应的数据则更新,没有则添加。

附件列表

文档内容仅供参考
如果您需要解决具体问题,还可以登录亿信社区
在提问求助板块提问,30分钟内帮您解决问题

如果您认为本词条还有待完善,请编辑

上一篇ETL组件-统计组件

下一篇ETL组件-脚本组件

请先登录