睿码主数据
当前版本:2.6.1

创建和执行质检方案

1.概述

在添加完所需质检规则后,即可开始创建质检方案。质检方案用于指定要执行的质检规则以及执行周期等,可以创建多个质检方案。自动或手动执行质检方案后就能得到质检结果,每个质检方案都有各自的质检结果。本文用于介绍如何创建和执行质检方案。

2.创建质检方案

2.1新建质检方案

在【数据质量】的【质量模型管理】页面,找到质量模型下的【质检方案】,点击【新建】。


在弹出窗口中填写【方案名称】、【执行周期】等。

其中,

1) 执行周期:这里我们设置为每月1~7日的0点定时执行。

2) 整改流程:可设置数据整改流程,但需要预先在"工作流"模块中定义。设置整改流程后,后续才能在【数据整改】模块发起数据整改。

3) 结果表保留数据:保留最近执行的几期数据,为空或者<时表示保留所有。例如填写“1”,则只保留最近2期的执行数据,之前的数据删除填写“2”,则只保留最近3期的执行数据,以此类推。

4) 删除结果表正确数:是否删除质检结果表中正确数据的相关信息,只保留错误数据的质检信息;默认全部保留。

然后“下一步”,点击【添加】,在弹出的对话框中勾选需要添加的规则,系统将根据添加的规则来检查数据质量。

最后,点击【完成】。

2.2启动定时执行

新建的质检方案默认是不会按设置的执行周期定时执行的,只能手动执行。

这里,我们需要该质检方案定时自动执行,具体操作如下:

1) 启用计划任务

点击【编辑】编辑该质检方案,在【运行参数】中将计划任务勾选为“启用”。

2) 设置执行的数据期

除了可在下拉框中勾选指定的数据期外,还可选择系统识别的【最佳数据期】和编写【数据期表达式】。本例中需要设置数据期为上月,可利用表达式自定义数据期:datetostr(od(today(),'m-1'),'yyyymm'),其中today()函数是取系统当前时间,od()函数是做日期处理——求上月,datetostr()函数是将日期转换成指定格式的字符串。编写完点击【测试】即可进行检验。

TIPS:【最佳数据期】

如数据期类型为“年”,填写格式说明:年,如2022表示2022年。最佳报表期:以每年的9月1日为界,9月1日之前,最佳报表期为上年,从9月1日开始,最佳报表期为本年。如用表达式,则为:str(if(month(today())>= 9,year(today()),year(today())-1))

如数据期类型为“半年”,填写格式说明:年+01或02,如202201表示2022年上半年。最佳报表期:6月以前的最佳报表期是上年的下半年,六月开始到11月30日的最佳报表期是本年上半月,12月份的最佳报表期是本年下半年。如用表达式,则为:if(month(today())<6,str(year(today())-1)^'02',if(month(today())<=11,str(year(today()))^'01',str(year(today()))^'02'))

如数据期类型为“季”,填写格式说明:年+季度,如202202 表示2022年二季度。最佳报表期:1.2两月的最佳报表期是上年第四季度,3,4,5三个月的最佳报表期是本年第一季度,6,7,8三个月的最佳报表期是本年第二季度,9,10,11的最佳报表期是本年第三季度,12月的最佳报表期是本年第四季度。如用表达式,则为:if(month(today())<=2,str(year(today())-1)^'04',if(month(today())<=5,str(year(today()))^'01',if(month(today())<=8,str(year(today()))^'02',if(month(today())<=11,str(year(today()))^'03',str(year(today()))^'04'))))

如数据期类型为“月”,填写格式说明:年月,如202206 表示2022年6月。最佳报表期:以每个月的21号为界,每月21号之前最佳报表期为上月,从21号开始,最佳报表期为本月。如用表达式,则为:if(day(today())>=21,str(year(today()))^format('%2d',month(today())),if(month(today())=1,str(year(today())-1)^'12',str(year(today()))^format('%2d',month(today())-1)))

如数据期类型为“半月”,填写格式说明:年+月+01或02,如20220601表示2022年6月上半月。最佳报表期:以每月的16号为界,16号之前最佳报表期为上月的下半月,从16号开始,最佳报表期为本月的上半月。如用表达式,则为:if(day(today())>=16,str(year(today()))^format('%2d',month(today()))^'01',if(month(today())=1,str(year(today())-1)^'1202',str(year(today()))^format('%2d',month(today())-1)^'02'))

如数据期类型为“旬”,填写格式说明:年+月+01或02或03,如20220602表示2022年6月中旬。最佳报表期:取当天所在旬的上一期为最佳报表期。1-10日取上月的下旬为最佳报表期,11-20日取本月的上旬为最佳报表期,21日-月末取本月的中旬为最佳报表期。如用表达式,则为:if(day(today())<=10,if(month(today())=1,str(year(today())-1)^'1203',str(year(today()))^format('%2d',month(today())-1)^'03'),if(day(today())<=20,str(year(today()))^format('%2d',month(today()))^'01',str(year(today()))^format('%2d',month(today()))^'02'))

如数据期类型为“日”,填写格式说明:年+月+日,如20220628表示2022年6月28日。最佳报表期:每天的17:00之前,最佳报表期是上一天,从17:00开始,最佳报表期就为今天。如用表达式,则为:if(asint(left(now(),2))>=17,str(year(today()))^format('%2d',month(today()))^format('%2d',day(today())),if(day(today())<>1,str(year(today()))^format('%2d',month(today()))^format('%2d',day(today())-1),if(OR(month(today())=2,month(today())=4,month(today())=6,month(today())=9,month(today())=11),str(year(today()))^format('%2d',month(today())-1)^'31',if(OR(month(today())=5,month(today())=7,month(today())=8,month(today())=10,month(today())=12),str(year(today()))^format('%2d',month(today())-1)^'30',if(month(today())=1,str(year(today())-1)^'1231',if(OR(MOD(year(today()),400)=0,AND(MOD(year(today()),4)=0,MOD(year(today()),100)<>0)),str(year(today()))^'0229',str(year(today()))^'0228'))))))

如数据期类型为“自定义”,填写格式说明:要求自定义的脚本是8位 (可以是超过或者少于8位)实际情况匹配例如20220629152119 表示年月日 时分秒。最佳报表期以自定义报表期中定义的为准。

3) 设置结果表处理方式等

质检结果表的处理方式有“更新”和“覆盖”,默认是更新,可根据需要进行修改。

结果表处理方式为“更新”时,修复数据后,重新执行质检方案时可记录数据的修复状态,如下图。


否则,不会记录数据的修复状态,在【质量监控】和【数据整改】模块“修复合计”总是0。

另外,还可以设置是否同步上期例外。当质量模型有数据期,而质检的主题表无数据期字段时,该属性才会起作用。

比如,该质量模型中的“员工信息表”无数据期字段,设置同步上期例外后,对于员工信息表,执行某一期的质检时会将上一期的例外同步过来。比如,执行2022年7月这一数据期的质检时会将2022年6月这一期的例外同步过来。

这里,这两个属性我们不做修改,保持默认。

2.3设置预警

系统支持对质检结果进行预警,可实现执行质检时,若数据质量评分低于某个分数则短信或邮箱通知。

这里,我们要实现数据质量评分低于6分时短信通知相关人员,编辑质检方案,在【预警设置】中新建,具体设置如下:

注:发送邮件或短信之前需要先配置相关信息,邮件配置见《发件邮件配置》章节,短信配置见《手机短信服务商配置》章节。

3.执行质检方案

创建好质检方案后,接下来就是执行质检方案得到质检结果。这里我们来手动执行刚新建的质检方案。

在质检方案列表中找到刚新建的质检方案,点击 “执行”。在弹出的对话框中选择数据期,设置结果表处理方式等,然后点击【确定】开始执行。


质检方案执行时会展示进度,直至100%。

执行结束后,点击方案名称或者日志,可查看执行日志。


质检方案成功执行完成后,就可以去【质量监控】模块查看质检结果,下一章节我们将介绍如何查看质检结果以及智能修复。

附件列表

0

文档内容仅供参考
如果您需要解决具体问题,还可以登录亿信社区
在提问求助板块提问,30分钟内帮您解决问题

如果您认为本词条还有待完善,请编辑

上一篇质量监控和智能修复

下一篇质检规则通用设置说明

请先登录