测试文档(产品帮助文档专用)

质检规则新建方式

1. 单条新建

在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【单条新建】即可进入新建页面

平台内置16种不同的质检规则,每个规则都有简单的使用场景说明帮助用户选择。可以参考《规则库》章节内容。

这里我们创建一个空值检查规则,用来检查缺陷表中的ASSIGNEE (经办人)是否有空值。

点击【空值检查】,点击【下一步】。

标有*号项为必填项,“代号”系统将根据规则类型自动生成,也可自定义输入。

选择规则作用的“主题表”和“检查字段”(所选中的字段,无类型限制,只要检查表中的字段均可勾选)。

并按需完成其他设置,具体可见《数据质量-新建质检规则-质检规则通用设置说明》章节。创建好的规则会展示在规则库列表上。

2. 批量新建

在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【批量新建】即可进入新建页面

平台支持针对空值检查、值域检查、规范检查、重复数据检查、及时性检查、记录缺失检查、引用完整性检查规则进行批量新建,其他类型的检查规则需要独立设置逻辑关系,不适合批量创建。我们以批量创建空值检查规则为例进行操作演示。

选择多张检查表下的多个字段作为被检查字段,然后点击【下一步】按钮。

然后按需完成规则的基础配置,点击【完成】按钮即可完成批量创建规则。

3. 根据文档智能新建

基于AI模型对自然语言的理解和推理能力,解析上传文档的内容,智能化的生成质检规则,节省业务人员将业务规则转换化成技术规则的时间,同时降低了产品功能的使用难度。

在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【根据文档智能新建】即可进入新建页面。

该页面功能步骤分四个流程,上传规则文档→智能解析规则内容→智能生成规则逻辑→规则创建完成。

3.1. 上传规则文档

上传带有业务逻辑描述的规则文档,文档描述中需要包含以下内容,格式不限:

规则标题:业务及技术规则的标题

规则描述:通过自然语言描述业务规则逻辑

问题类型:对业务规则进行初步的质检类型定义,包括有一致性、准确性、完整性、有效性、及时性、唯一性

规则上级标题:定义创建规则的所在分组,为空则创建在规则库的根目录上

平台也提供了文档模板,可根据模板格式完成业务规则登记。

注意:支持批量上传文件最多3个,支持上传txt、pdf、docx、doc、xlsx、xls、csv文件类型,文档大小默认限制为不超过100M

3.2. 智能解析规则内容

上传规则文档后,输入自然语言提示词,点击【发送】按钮开始解析。

上传的业务规则文档内容

解析首先生成的是业务规则,支持对智能生成的规则进行编辑调整。

同时支持将确认无误的业务规则保存至业务规则库。

3.3. 智能生成规则逻辑

在此步骤支持将业务规则转化为技术规则,点击【生成技术规则】按钮开始转化。

最终转化的技术规则,点击【完成】按钮完成质检规则的智能创建。

创建的智能规则可以在规则库中进行展示。

【注意事项】

1. 规则智能生成依赖提供的业务规则逻辑是否清晰,针对概念模糊的业务逻辑,无法基于现有的知识内容无法找到对应的字段对象,这样的情况无法很好的生成技术规则。

2. 规则智能生成同时也依赖大模型的推理、理解能力、上下文的限制,配置较低的大模型可能会导致推理过程较慢,较短的上下文可能会导致内容失真,生成的规则业务逻辑不全。

3. 用于生产业务规则或技术规则的文档,内容中建议包含明确的检查表名称、检查字段名称、清晰的逻辑关系,尽量避免多指向的描述对象出现。

4. 根据业务规则新建

基于AI模型对自然语言的理解和推理能力,解析系统业务规则的内容,智能化的生成质检规则,节省业务人员将业务规则转换化成技术规则的时间,同时降低了产品功能的使用难度。

在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【根据业务规则智能新建】即可进入新建页面。

该页面功能步骤分为3步,选择业务规则→智能生成规则逻辑→规则创建完成。

第一步我们可以选择业务规则库中智能体检创建、根据文档智能创建或者人工创建的业务规则,然后将业务规则内容提供给AI模型进行理解、推理,最终生成技术规则。

后续相关步骤同《根据文档智能新建》一致。

5. 根据数据标准新建

除了手动新建规则和AI智能创建外,还可以利用数据治理流程中的数据标准定义来创建,根据数据标准自动生成质检规则。

若现有标准已设置值域范围、不允许为空、字符规范、数据长度、可为空、链接维表、链接标准属性,并与元数据进行落地映射,且元数据所在库表已作为主题表添加到该质量模型中,即可根据标准建立质量检查规则。

在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【根据数据标准新建】即可进入新建页面。

页面中点击【帮助】按钮也可以查看具体的操作步骤指南

场景演示:

现有一条“优先级”标准,定义“值域范围”标准属性的值为最高,严重,一般,低,微不足道。

将该标准与元数据表ADS_JIRAISSUE的PRIORITY字段进行落地映射绑定。

质量模型再将同库的ADS_JIRAISSUE表添加为检查表。

然后访问根据数据标准新建规则页面,选择对应的标准集,即可展示当前可添加的数据标准规则。选中标准保存即可创建对应的质检规则。

按表保存:同表的多个字段仅生成一个规则

按字段保存:每个字段单独生成一个规则

注意事项1:链接维表的属性在根据标准创建规则时,需要保证对应的维表标题在质检主题集的维表或公共维表下存在,否则质检时会提示维表不存在。

注意事项2:链接标准的属性在根据标准创建规则时,会下钻到被的链接标准,并查看其是否有满足创建规则的表属性,有则会同步创建为质检规则。

6. 根据数据模型新建

当数据模型字段关联质检规则,新建规则时支持直接选择模型进行批量创建规则。

在数据质量模块的质量模型管理左树上,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【根据数据模型创建】即可进入新建页面。

注意:仅主题表类型的质量模型支持根据数据模型创建规则

场景演示:

定义物理模型时关联质检规则,支持关联空值检查和重复数据检查。

物化物理模型为模型主题表。

将模型主题表添加为检查表,然后根据数据模型添加规则,点击【生成规则】按钮生成关联规则。确认保存后,创建规则显示在规则库列表上。

按表保存:同表的多个字段仅生成一个规则

按字段保存:每个字段单独生成一个规则

附件列表

0

文档内容仅供参考
如果您需要解决具体问题,还可以登录亿信社区
在提问求助板块提问,30分钟内帮您解决问题

如果您认为本词条还有待完善,请编辑

上一篇智能体检

下一篇空值检查@

请先登录