1.概述
平台目前支持用户通过ETL的方式创建主题表,包括批量抽取、聚合、表连接、行转列、列转行等多种方式,本文将讲解操作的具体步骤。
2.按批量抽取新建主题表
若主题集属性-【分层】设置为“数据贴源层”,选取多个库表,通过批量抽取方式创建对应的主题表。
Step1:
点击“新建主题表”按钮,然后选择“批量抽取”,如下图所示:
Step2:
左侧待选库表窗口,选取数据存储连接池之后,选取需要的库表并双击选中,右侧已选库表窗口可显示已选库表,并可对已选库表进行删除、点击查询结果、点击查询库表结构的操作,整体界面右上角会显示已选库表总数以及一键清空已选库表的按钮,完成操作后,点击“下一步”即可。如下图所示:
Step3:
设置主题表属性和字段界面包括两个板块:主题表基本属性版块包括主题表的标题、代号、数据库表名的设置,这三个基本属性都支持使用宏,还可添加拓展属性;批量新建删除字段板块,操作类型可选择新建字段或删除字段。具体设置如下图,设置完成后点击“下一步”。
| |
|---|
| 补充说明: 主题表名称、标题和数据库表名支持使用宏,其中:'table_name'表示源表名称,'table_desc'表示源表描述。 以表名:'TABLENAME',表描述:'出院住院人数统计表'为例,说明如下: <#=table_name#>TABLENAME <#=left(table_name,3)#>TAB subject_<#=table_name#> subject_TABLENAME <#=table_desc#>出院住院人数统计表 <#=left(table_desc,2)#> 出院 主题表_<#=table_desc#>主题表_出院住院人数统计表
拓展参数说明: 扩展参数使用key=value的格式定义,多个扩展参数间用“;”隔开如: EXTRA_TABLE_DEIFNE=stored as parquet; ISEXTERNAL=true; |
Step4:
点击“下一步”之后会弹窗询问是否创建交换任务,选择“确定”则会创建相应的ETL过程,反之不创建,如下图。
Step5:
上一步点击“确定”之后,需设置ETL基本属性,包括名称、标题、保存分组、是否执行ETL数据抽取、是否创建ETL过程流。如下图。如果选择“创建ETL过程流”则还需输入过程流名称、过程流标题和保存分组。
点击“下一步”即可完成创建主题表。
3.按聚合新建主题表
在建模的同时完成数据的分组聚合功能,将输入的数据进行分组,利用聚合函数对其他字段数据进行处理,最后将数据写入目标表,类似于数据库的group by操作。聚合函数支持:最大值、最小值、平均值、计数、求和。
Step1:
点击“新建主题表”按钮,然后选择“聚合”,如下图所示:
Step2:
选择源数据库表后,勾选分组字段,非分组字段按需要选择相应的聚合方法。然后点击“下一步”,如下图所示:
Step3:
进行“聚合-属性设置”,点击“下一步”即可完成创建,如下图所示:
4.按表连接新建主题表
将多个数据库表通过关联字段进行连接后,得到的结果集创建为新的模型;支持的连接方式内连接、左连接、右连接、全连接,交叉连接。
Step1:
点击 “新建主题表”,然后选择“表连接”即可进入到表连接页面,如下图所示:
Step2:
选择“连接池”、数据库表,批量选择需要的字段,如下图所示:
Step3:
点击“下一步”到设置表关联关系页面,设置连接方式、关联字段、字段前缀等属性,如下图所示:
Step4:
点击“下一步”,进入到编辑字段页面(可以在此页面进行新增、删除、上下移动字段信息),如下图所示:
Step5:
然后点击“下一步”弹出“属性设置”弹框,再点击“下一步”即可完成创建,如下图所示:
5.按行转列新建主题表
顾名思义就是将表中的记录行,按照某种规则转换到列上,更好的提切业务存储的要求。
Step1:
首先点击“新建主题表”按钮,然后选择“行转列”即可进入到行转列创建主题表页面,如下图所示:
Step2:
进行“源设置”、“分组字段设置”、以及“行转列字段设置”,如下图所示:
Step3:
点击“下一步”,进行行转列的属性设置:“主题表基本属性”和“ETL基本属性”设置,如下图所示:
Step4:
修改完成之后,点击“下一步”即可创建成功
6.按列转行新建主题表
列转行与行转列是一个反向的操作,即将列上的值转换为行。
Step1:
首先点击“新建主题表”按钮,然后选择“列转行”即可进入到列转行创建主题表页面,如下图所示:
Step2:
进行列转行的字段设置,包括“基本设置”、“新增字段设置”、“列转行字段设置”,如下图所示:
Step3:
然后点击“下一步”,进入到“列转行”属性设置页面,包括“主题表基本属性”、“ETL基本属性”,如下图所示:
Step4:
然后点击“下一步”即可创建成功
请先登录