睿治
当前版本:2.7.2

采集任务配置

1.概述

对元数据信息的维护除界面手动操作方式外,元数据管理平台利用内置采集适配器,让用户通过配置数据源参数及定时采集任务,进行自动化采集,实现直连数据源的端到端元数据采集,同时可对不需要采集的元数据进行过滤设置。

2.配置采集数据

以Oracle采集适配器为例,在元数据采集-数据源管理页面,新建采集数据源,输入数据源名称,适配器选择“Oracle采集适配器”,选择挂载点。

点击【下一步】,输入数据源的url、用户名和密码,测试连通后点击【下一步】进入配置采集类型页面。

采集类型配置界面,可设置采集的元数据类型,以及每类元数据的采集范围,页面默认全部勾选。

现只配置采集以“SSXN_”开头的表以及表的组合项,在左侧采集类型列表中勾选对应的类型,选中表类型,在右侧包含项中输入正则表达式“^SSXN_”,表示以“SSXN_”开头的表,点击包含项输入框下方【保存】按钮。

配置好采集类型后,点击【完成】按钮,保存采集数据源。

3.配置并执行采集任务

在元数据采集-采集任务配置页面新建采集任务,选中之前新建的数据源,入库策略选择“全量入库”。

填写采集任务标题后点击【完成】按钮保存任务。

执行采集任务,采集成功后,在入库审核页面进行通过。

入库成功后,在最新元数据页面查看,新增的元数据是以“SSXN_”开头的表以及表的组合项。

4.入库策略

元数据采集入库策略有四种,分别是全量入库,追加入库、激进入库和保守入库。入库策略详细说明如下:

全量入库:对比挂载点与采集源中的元数据,删除挂载点下多余元数据,添加缺失元数据,更新差异元数据。删除多余依赖关系,添加缺失依赖关系。

追加入库:对比挂载点与采集源中的元数据,保留挂载点下多余元数据,添加缺失元数据,保留差异元数据。保留多余依赖关系,添加缺失依赖关系。

激进入库:对比挂载点与采集源中的元数据,删除挂载点下多余元数据,添加缺失元数据,更新差异元数据(采集元数据标题或属性不为空时,才将非空值更新到已有元数据)。删除多余依赖关系,添加缺失依赖关系。

保守入库:对比挂载点与采集源中的元数据,保留挂载点下多余元数据,添加缺失元数据,更新差异元数据(采集元数据标题或属性不为空时,才将非空值更新到已有元数据)。保留多余依赖关系,添加缺失依赖关系。

4.1配置数据源

首先,在元数据管理-最新元数据页面,点击【新建】按钮,新建一个挂载点“挂载点A”,输入元数据代号、元数据标题和元数据类型,点击【下一步】后确定保存。

在元数据采集-数据源管理页面,点击【新建】按钮,新建采集数据源,输入数据源基本信息。

点击【下一步】按钮,输入数据源的url,用户名和密码,测试连通后点击【下一步】,点击【完成】按钮保存数据源。

4.2新建和执行采集任务

在元数据采集-采集任务配置页面,点击【新建】按钮新建采集任务,选择之前新建的数据源,入库策略选择“追加入库”。

点击【下一步】,输入采集任务的标题,点击完成按钮保存采集任务。

点击【立即执行】按钮,进行首次采集元数据。

采集完成后,在入库审核页面点击【通过】,即元数据入库成功,可以在最新元数据页面查看已入库的元数据。

4.3手动维护元数据标题

在最新元数据页面,手动编辑表“A55”及其字段的元数据标题,将其改为中文内容。

4.4增量采集入库

采集数据源中,新增一张表“NEW_TABLE”,删除一张表“A”。在元数据采集-采集任务配置页面再次执行之前的采集任务,查看采集日志显示仅有新增元数据。

在入库审核页面通过后,查看最新元数据,可以看到新增的元数据,且之前手动维护的表和字段名称正常显示。

附件列表

0

文档内容仅供参考
如果您需要解决具体问题,还可以登录亿信社区
在提问求助板块提问,30分钟内帮您解决问题

如果您认为本词条还有待完善,请编辑

上一篇数据资源提供的服务

下一篇数据产品提供的服务

请先登录