1.概述
空值检查用于检查关键字段非空。以气源数据为例,气源数据主要记录进站燃气的基本信息,其中排序字段要求不能为空,为空则影响气源数据在系统中的排序。接下来我们将以数据质量-空值检查规则来检查排序字段是否为空。
2.操作步骤
2.1 新建质量模型
在质量模型管理页面点击新建模型按钮,输入模型信息,点击确定,生产报表质量模型新建成功。
在主题表页面添加主题表,将数据集模块的主题表DW_QYSJ_DAY(气源数据)添加进来。
设置主题表DW_QYSJ_DAY的关键字、数据期以及数据级次。
这里我们的关键字字段选择QYID(气源编号)字段,数据期选择TBRQ(生产日期),保存主题表设置。
2.2 新建质检规则
在规则库页面点击新建规则按钮,进入选择规则类型页面。
选择空值检查规则,点击下一步,进入新建规则页面。
其中,
代号:系统将根据规则类型系统自动生成,也可能自定义输入。
分组:选择规则分组,当前规则将添加至选定的分组下。
主题表:选择规则作用的主题表。
业务规则:选择规则的业务规则类型。
检查字段设置:设置规则所检查的字段。点击“下三角”展开下拉组件,展示该主题表的所有字段,用户只需单击选中字段。所选中的字段,无类型限制,只要主题表中的字段均可拾取。
关联关系:选择主题表的关联关系。过滤条件涉及他表时,需勾选与之对应的关联关系。
联合不为空:勾选表示检查字段不能同时为空,但可以单个为空。
描述:用户输入规则的详情。
过滤条件:当对一部分数据进行检查时,可以输入过滤条件表达式。
问题级别:分为严重、重要、一般。用户可以根据提示选择优先处理哪类问题。
自动启用:打上勾后表示创建规则后自动设为启用状态,不打勾设为禁用状态。
权重:输入权重值,用于质量管理绩效打分。
选择需要做空值检查的主题表DW_QYSJ_DAY,配置检查字段为SORT (排序),该配置意义为:排序不能为空。
点击完成,即质检规则保存成功。
2.3 新建质检方案
在质检方案页面点击新建按钮,进入新建质检方案页面,输入方案名称“空值检查”。
点击下一步按钮,添加质检方案,选择之前新建的空值检查规则。
点击下一步,直到新建成功。
2.4 执行质检方案
在质检方案页面,点击波动检查方案的执行按钮,数据期选择2023年10月14日,点击确定。
方案执行成功。
2.5 查看质量监控
在质量监控页面选择空值检查方案,分别查看2023年10月14日数据期的监控列表。
点击查看-数据详情按钮,查看错误数据详情,可以看到排序字段为空。
请先登录