1. 创建质量模型
主要介绍如何创建质量模型。质量模型支持将数据库表、主题表、ETL任务对象作为检查表进行质量检查,并将检查结果及明细结果存储在指定存储库中用于质量分析和整改。
需要注意的是,当主题表作为检查表对象时,主题表所在的路径不能创建在内置的【质量分析】主题域下。
创建质量模型的业务流程图:
2. 库表类型质量模型
支持选择数据源连接池作为检查源连接池,然后选择其中的数据库表作为检查表对象。
从数据治理菜单下进入数据质量模块,点击质量模型管理页面,选择“基于库表创建”新建模型。
模型标题:输入合法字符串用于定义质量模型的业务标题。
数据连接池:选择要检查的数据库表所在的数据源连接池,支持Oracle、达梦、Mysql、Hive等各种类型的数据库,详情清单见对应版本的发布指南手册。
数据期:定义模型的数据期类型,便于后续按期对检查表数据进行检查。
数据级次:定义模型的数据级次,便于后续按级次对检查表进行检查。
结果表存储连接池:定义模型检查结果的存储连接池,后续所有质检汇总结果及明细结果的存储库。
Spark引擎:模型是否启用Spark服务作为质检底层的计算引擎,启用可利用Spark服务器的资源大幅度提升质检效率。
3. 主题表类型质量模型
支持选择数据集-主题域下的主题集作为检查数据源,然后选择其中的主题表作为检查表。
从数据治理菜单下进入数据质量模块,点击质量模型管理页面,选择“基于主题表创建”新建模型。
模型标题:输入合法字符串用于定义质量模型的业务标题。
主题集:选择要检查的主题表所在的主题集。
数据期:定义模型的数据期类型,便于后续按期对检查表数据进行检查。
数据级次:定义模型的数据级次,便于后续按权限级次对检查表进行检查。
结果表存储连接池:定义模型检查结果的存储连接池,后续所有质检汇总结果及明细结果的存储库。
Spark引擎:模型是否启用Spark服务作为质检底层的计算引擎,启用可利用Spark服务器的资源大幅度提升质检效率。
请先登录