了解数据集成

1.作用

数据集成是我公司自主研发的具有独立自主知识产权、业界领先的企业级数据整合交换平台。可提供增量和全量数据抽取、传输、交换、同步以及整合的一站式解决方案。用于全面支撑数据服务平台、数据中台、数据治理平台、数据中心的建设。

2.产品优势

3.产品特性

4.功能概览

4.1数据源

支持接入多种数据源，包括库表、格式化数据文件、接口、Kafka、FTP服务器等。可分系统维护数据源。

4.2数据集

数据集中用户可以完成主题域、主题集、主题表、维表定义等数据建模的工作。

4.3数据整合

数据整合模块分为设计区和运行区。设计区中提供了ETL任务设计和ETL任务流设计功能，支持ETL任务的分组分类、导入导出、创建删除、发布等基本操作。

运行区为正式ETL任务的执行区，运行区中的ETL任务和ETL任务流由设计区发布而来，运行区中提供了任务调度功能，可以通过设置调度任务定时执行ETL任务流。

4.4监控中心

监控数据源是否联通；监控调度是否存在异常，包括执行异常和耗时异常。支持调度耗时统计；支持交换节点数据传输统计，统计指标包括库表、文件、接口、消息；支持实时任务监控记录吞吐量统计等。