1. 元数据支持采集数据模型,支持标准落标该元数据
元数据模块支持采集数据模型中的元数据,保证数据资源元信息的完整性。元数据采集的是最新版本的数据模型。
在最新元数据,新建挂载点,元数据类型选【数据建模】。
在元数据采集-数据源管理,新建采集数据源,【适配器】选择建模工具下的【数据模型采集适配器】,【数据源挂载路径】选择【数据建模】类型的挂载点。
下一步配置数据源参数,url填写环境地址,username和password填写用户名和密码。采集时会采集该用户有权限的域。
创建数据源后,接着在采集任务配置,创建采集任务。
除了按上述方式新建数据源和采集任务,也可从元数据采集-适配器管理页面,选择【数据模型采集适配器】,点击+按钮,新建采集数据源和任务。
和其他类型元数据的流程一样,执行采集任务并入库审核后,最新元数据页面会按层级显示数据模型的元数据。
能采集到的元数据类型有:域、概念模型、逻辑模型、物理模型、数据分层、分组、概念实体、逻辑实体、物理模型表、数据库类型、关联关系、属性、字段、索引、外键。
具体的组合和依赖关系可参照元模型管理的关系图:

元数据分析时,支持分析概念模型、逻辑模型和物理模型中相关对象的血缘关系和影响分析。
元数据发布后,可通过数据标准的落地评估功能,检查物理模型中设计的字段是否符合数据标准的要求。
具体操作步骤如下: 在标准集属性的元数据映射设置,添加数据模型包下“字段”的属性。
发布标准后,在定版标准设置落地映射,添加采集的数据模型元数据下的字段。
映射发布成功后,再进行落地评估,可检查物理模型中设计的字段是否符合数据标准的要求。
2.主题表和维表支持根据物理模型物化
数据集模块支持通过物理模型创建主题表、维表或主题集,创建成功后,通过“与物理模型同步”对表结构进行维护。主题表/维表物化的是最新版本的数据模型。
2.1 根据物理模型创建主题表
在主题表页面,点击新建主题表,选择【模型主题表】。
打开新建模型主题表页面,首先选择要物化的物理模型。根据主题集所选连接池的数据库类型,左侧列表显示有权限的对应数据库类型的物理模型,只显示事实表。若主题集设置了分层,左侧列表还会按分层进行过滤。
双击左侧模型,会添加到右侧已选物理模型框,点击下一步,显示字段属性。
若在物理模型中事实表和维度表有关联关系,在字段属性页面,主题表字段会显示关联的维表,创建主题表也会联动创建关联的维表。
点击保存,会弹出保存主题表框,设置是否锁定数据库表。
点击确定后,会按照物理模型的设计(包括基本属性、字段、索引、主键和外键)创建主题表,并显示创建结果。若出现创建失败的情况,点击查看详情,可以查看失败原因。
无论是否锁定数据库表,在主题表模块,都不能编辑模型主题表。
只能从数据模型模块,修改物理模型并发布,再到主题表点击“与物理模型同步”按钮,同步修改模型主题表的结构(包括基本属性、字段、索引、主键和外键)。
通过与模型同步的功能,保证模型主题表和物理模型表的表结构一致。
另外,物理模型画布上设置连线的关联关系,也会同步到主题集的表关联关系。
2.2 根据物理模型创建维表
在维表页面,点击新建维表,选择【新建模型维】。
打开新建模型维表页面,选择要物化的物理模型。
若维表在主题域下,根据主题域所选连接池的数据库类型,下拉框显示有权限的对应数据库类型的物理模型,只显示维度表。
若维表在主题集下,根据主题集所选连接池的数据库类型,下拉框显示有权限的对应数据库类型的物理模型,只显示维度表。若主题集设置了分层,还会按分层进行过滤。
点击下一步,进入维表结构设置页面,按照物理模型的设计,显示维名称、库表名、字段设置,且不可编辑。
点击保存,新建模型维成功。和模型主题表类似,无论是否锁定数据库表,编辑模型维页面,维名称、数据库连接池、库表名、字段设置均不可编辑。
能从数据模型模块,修改维度表并发布,再到模型维点击“与物理模型同步”按钮,同步修改模型维。
通过与模型同步的功能,保证模型维和物理模型表结构的一致性。
2.3 根据物理模型创建主题集
在主题域页面,点击新建主题集,选择【数据模型主题集】。
打开新建模型主题集页面,选择数据域、分层和连接池,点击下一步。
选择物理模型,左侧待选列表,显示按上一步所选数据域、分层、连接池对应数据库类型过滤后的物理模型,包括事实表和维度表。
左侧列表双击表、分组或分层,会添加物理模型到右侧已选框。
点击保存,会创建模型主题集,主题集下按照所选物理模型的设计,创建对应的模型主题表和模型维,并显示创建结果。若出现创建失败的情况,点击查看详情,可以查看失败原因。
创建模型主题集成功后,查看主题集的基本属性,会显示绑定的域名。后续只能选择绑定域下的物理模型进行物化。
2.4 Hive库支持物化成事务表或非事务表
当物理模型对应的数据库类型是hive库时,编辑表属性,基本信息会增加“事务属性”,用户可设置为事务表或非事务表。后续物化成主题表或维表时,会根据事务属性,在hive库中落地对应类型的表。
备注:hive的事务表支持insert、update、delete等操作;hive的非事务表支持insert,不支持update和delete操作。用户可根据实际需求设置事务属性。
请先登录