1. 单条新建
在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【单条新建】即可进入新建页面
平台内置16种不同的质检规则,每个规则都有简单的使用场景说明帮助用户选择。可以参考《规则库》章节内容。
这里我们创建一个空值检查规则,用来检查缺陷表中的ASSIGNEE (经办人)是否有空值。
点击【空值检查】,点击【下一步】。
标有*号项为必填项,“代号”系统将根据规则类型自动生成,也可自定义输入。
选择规则作用的“主题表”和“检查字段”(所选中的字段,无类型限制,只要检查表中的字段均可勾选)。
并按需完成其他设置,具体可见《数据质量-新建质检规则-质检规则通用设置说明》章节。创建好的规则会展示在规则库列表上。
2. 批量新建
在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【批量新建】即可进入新建页面
平台支持针对空值检查、值域检查、规范检查、重复数据检查、及时性检查、记录缺失检查、引用完整性检查规则进行批量新建,其他类型的检查规则需要独立设置逻辑关系,不适合批量创建。我们以批量创建空值检查规则为例进行操作演示。
选择多张检查表下的多个字段作为被检查字段,然后点击【下一步】按钮。
然后按需完成规则的基础配置,点击【完成】按钮即可完成批量创建规则。
3. 根据文档智能新建
基于AI模型对自然语言的理解和推理能力,解析上传文档的内容,智能化的生成质检规则,节省业务人员将业务规则转换化成技术规则的时间,同时降低了产品功能的使用难度。
在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【根据文档智能新建】即可进入新建页面。
该页面功能步骤分四个流程,上传规则文档→智能解析规则内容→智能生成规则逻辑→规则创建完成。
3.1. 上传规则文档
上传带有业务逻辑描述的规则文档,文档描述中需要包含以下内容,格式不限:
规则标题:业务及技术规则的标题
规则描述:通过自然语言描述业务规则逻辑
问题类型:对业务规则进行初步的质检类型定义,包括有一致性、准确性、完整性、有效性、及时性、唯一性
规则上级标题:定义创建规则的所在分组,为空则创建在规则库的根目录上
平台也提供了文档模板,可根据模板格式完成业务规则登记。
注意:支持批量上传文件最多3个,支持上传txt、pdf、docx、doc、xlsx、xls、csv文件类型,文档大小默认限制为不超过100M
3.2. 智能解析规则内容
上传规则文档后,输入自然语言提示词,点击【发送】按钮开始解析。
上传的业务规则文档内容
解析首先生成的是业务规则,支持对智能生成的规则进行编辑调整。
同时支持将确认无误的业务规则保存至业务规则库。
3.3. 智能生成规则逻辑
在此步骤支持将业务规则转化为技术规则,点击【生成技术规则】按钮开始转化。
最终转化的技术规则,点击【完成】按钮完成质检规则的智能创建。
创建的智能规则可以在规则库中进行展示。
【注意事项】
1. 规则智能生成依赖提供的业务规则逻辑是否清晰,针对概念模糊的业务逻辑,无法基于现有的知识内容无法找到对应的字段对象,这样的情况无法很好的生成技术规则。
2. 规则智能生成同时也依赖大模型的推理、理解能力、上下文的限制,配置较低的大模型可能会导致推理过程较慢,较短的上下文可能会导致内容失真,生成的规则业务逻辑不全。
3. 用于生产业务规则或技术规则的文档,内容中建议包含明确的检查表名称、检查字段名称、清晰的逻辑关系,尽量避免多指向的描述对象出现。
4. 根据业务规则新建
基于AI模型对自然语言的理解和推理能力,解析系统业务规则的内容,智能化的生成质检规则,节省业务人员将业务规则转换化成技术规则的时间,同时降低了产品功能的使用难度。
在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【根据业务规则智能新建】即可进入新建页面。
该页面功能步骤分为3步,选择业务规则→智能生成规则逻辑→规则创建完成。
第一步我们可以选择业务规则库中智能体检创建、根据文档智能创建或者人工创建的业务规则,然后将业务规则内容提供给AI模型进行理解、推理,最终生成技术规则。
后续相关步骤同《根据文档智能新建》一致。
5. 根据数据标准新建
除了手动新建规则和AI智能创建外,还可以利用数据治理流程中的数据标准定义来创建,根据数据标准自动生成质检规则。
若现有标准已设置值域范围、不允许为空、字符规范、数据长度、可为空、链接维表、链接标准属性,并与元数据进行落地映射,且元数据所在库表已作为主题表添加到该质量模型中,即可根据标准建立质量检查规则。
在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【根据数据标准新建】即可进入新建页面。
页面中点击【帮助】按钮也可以查看具体的操作步骤指南
场景演示:
现有一条“优先级”标准,定义“值域范围”标准属性的值为最高,严重,一般,低,微不足道。
将该标准与元数据表ADS_JIRAISSUE的PRIORITY字段进行落地映射绑定。
质量模型再将同库的ADS_JIRAISSUE表添加为检查表。
然后访问根据数据标准新建规则页面,选择对应的标准集,即可展示当前可添加的数据标准规则。选中标准保存即可创建对应的质检规则。
按表保存:同表的多个字段仅生成一个规则
按字段保存:每个字段单独生成一个规则
注意事项1:链接维表的属性在根据标准创建规则时,需要保证对应的维表标题在质检主题集的维表或公共维表下存在,否则质检时会提示维表不存在。
注意事项2:链接标准的属性在根据标准创建规则时,会下钻到被的链接标准,并查看其是否有满足创建规则的表属性,有则会同步创建为质检规则。
6. 根据数据模型新建
当数据模型字段关联质检规则,新建规则时支持直接选择模型进行批量创建规则。
在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【根据数据模型创建】即可进入新建页面。
注意:仅主题表类型的质量模型支持根据数据模型创建规则
场景演示:
定义物理模型时关联质检规则,支持关联空值检查和重复数据检查。
物化物理模型为模型主题表。
将模型主题表添加为检查表,然后根据数据模型添加规则,点击【生成规则】按钮生成关联规则。确认保存后,创建规则显示在规则库列表上。
按表保存:同表的多个字段仅生成一个规则
按字段保存:每个字段单独生成一个规则
请先登录