摘要: 如何查看质检结果,以及对异常数据进行智能修复。1.查看质检结果进入【质量监控】模块查看质检结果,选择“质检方案”“数据期”“数据级次”“主题表”后即可查看相应的质检结果。这里分规则显示了检查数据量、错误[阅读全文]
摘要: 在添加完所需质检规则后,即可开始创建质检方案。质检方案用于指定要执行的质检规则以及执行周期等。可以创建多个质检方案。自动或手动执行质检方案后就能得到质检结果。每个质检方案都有各自的质检结果。本文用于介绍[阅读全文]
摘要: 各质检规则的共同属性进行说明介绍。1.业务规则可以按业务规则对质检规则进行分类。比如我们按数据质量的六个维度(完整性、一致性、规范性、有效性、准确性、及时性)将质检规则分类,则首先需要创建这6个业务规则[阅读全文]
摘要: 在【数据质量】的【质量模型管理】页面,找到对应质量模型并点击展开,选择【规则库】-【新建】,点击【新建规则】即可进入新建页面,如下图。平台内置16种不同的质检规则,每个规则都有简单的使用场景说明帮助用户[阅读全文]
摘要: 主要介绍如何创建质量模型。由于平台是基于主题表进行数据质量检查,故在创建质量模型之前,需先将待检查的库表创建为主题表,具体的主题表创建方法见【数据集】部分内容。需要注意的是,这里的主题表不能创建在内置的[阅读全文]
摘要: 数据质量相关操作流程大致如下,可分为5步:1.创建质量模型质量模型是用户进行数据质量分析的基本单元,这里包括新建质量模型和添加待检测的主题表以及必要的属性设置。2.添加质检规则即添加质量规则,即设置哪张[阅读全文]
摘要: 这里,我们添加一条等价评估配置,使数据标准中“字符型”数据类型与元数据中char、varchar、varchar2、string等数据类型等价,具体操作如下:在【数据标准】-【配置管理】-【等价评估配置[阅读全文]
摘要: 标准文档管理用于存储和管理标准相关文档,支持上传、下载、在线预览等。在标准中可链接到标准文档。新建分组:点击【新建分组】可创建分组,便于用户分类管理,如下图:上传:上传可以选择直接在根目录上传,也可以在[阅读全文]
摘要: 前面的章节我们已经在最新标准模块建好了标准集和数据标准,接下来我们来发布该标准集,生成定版标准。发布标准时需要审批,审批通过才会生成定版标准。在定版标准模块,只能查看标准,不能增删改标准,但能以标准集为[阅读全文]
摘要: 在前面的章节,我们新建了标准集“基础数据标准”,并且设置了编码规则,本章节我们来讲解如何在标准集中新建标准。1.手动创建标准在【数据标准】-【数据标准管理】-【最新标准】模块,选择标准集点击【新建】。在[阅读全文]
摘要: 我们在维护标准时发现:手动输入标准编号着实繁琐又容易出错,那么能不能让系统为整个标准集自动编号呢?答案是可以的,配置管理中的编码规则管理就是做这项工作的。下面我们以给标准集“基础数据标准”创建编码规则为[阅读全文]
摘要: 标准集是标准的集合,通常会把相同类型相同管理流程的数据标准归到一个标准集中。标准集可以约定这些标准的属性,并统一管理这些属性。新建标准前,必须新建标准集。操作步骤分为4大步:新建标准集;设置标准属性;设[阅读全文]
摘要: 数据标准是对数据的命名、数据类型、长度、计算口径、归属部门等,定义一套统一的规范,保证各业务系统对数据的统一理解,对数据定义和使用的一致性。数据标准检索【数据标准检索】模块主要提供数据标准检索和查询功能[阅读全文]
摘要: 可针对定时调度、实时调度的执行运行情况按周期进行统计。1.定时调度执行过的调度总数:检查调度任务中组件的输入输出数据源是否为当前数据源系统下,是则纳入统计范围,同时根据调度运行时间按周期进行定时调度总数[阅读全文]
摘要: 对数据源、数据整合以及调度平台下的资源进行监控,可全局掌握资源运行状态。监控范围包括:(1)数据源系统下各类型数据源的连通性(2)任务流调度、实施调度的启用/禁用个数统计(3)任务流调度、实时调度的执行[阅读全文]
摘要: 变更检测用于检测ETL任务的输入输出源的表结构是否发生变更,如果发生了变更,则或短信或邮箱或站内信通知。目前支持检测的组件有:表输入输出组件、主题表输入输出组件。规则是以组件中的字段列表为准,检查库表的[阅读全文]
摘要: 任务流调度绑定监听事件后,事件触发调度执行都会有事件处理日志。可前往事件管理-事件处理日志Tab页进行查看。[阅读全文]
摘要: 在新建或者编辑任务流调度时,在【设置任务执行周期】处对【事件】参数进行选择,下拉框选择权限范围的监听事件,选择任务流调度与该事件绑定。多个任务流调度支持选择同一个事件进行绑定,单个任务流调度只能选择一个[阅读全文]