摘要: KAFKA生产消费组件1.前置步骤需提前部署kafka服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有[阅读全文:]
摘要: 专为保障数据在传输、存储及交换过程中的机密性与完整性,可使用加解密组件。对选择的字段进行加密或解密，根据输出设置将字段进行输出。目前加密级组件支持AES/ECB、AES/CBC、SM2、SEM4等多种算[阅读全文:]
摘要: 实时任务中数据库表既可以作为输入源，也可以作为输出源。用户设计实时任务，拖入输入组件和处理组件以及表输出组件，然后配置好输入组件信息，处理组件处理逻辑以 及表输出组件连接池和目标表及加载方式，保存后启动[阅读全文:]
摘要: 大数据参数配置页面由原来的实时处理配置页面改造而来，在原有支持的local、standalone模式的基础上新增yarn模式的spark集群。配置大数据计算引擎后，在数据量级较大的情况下使用大数据计算引[阅读全文:]
摘要: 1.mongodb 输入组件Mongodb输入组件可直接从组件中配置mongodb数据源，选择集合进行数据的抽取，作为后续组件的数据来源。该组件输入设置tab页主要配置分别是mongodb数据[阅读全文:]
摘要: 1. 概述本文档是ETL任务的入门示例，希望大家通过这个示例理解ETL任务的制作步骤以及设计思路。下文我们以个人周报数据抽取为例，讲述ETL任务的制作步骤。具体需求如下：1)【个人周报表IGR[阅读全文:]
摘要: 1.定义数据资产是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数[阅读全文:]
摘要: 1. 概述本文主要介绍如何创建质量模型。由于平台是基于主题表进行数据质量检查，故在创建质量模型之前，需先将待检查的库表创建为主题表，具体的主题表创建方法见【数据集】部分内容。需要注意的是，这里[阅读全文:]
摘要: 1.主题架构服务器中可以建多个主题域，每个主题域下面又可以建多个主题集，主题集下面存放的是一批主题表和维表。2.主题表1)概念即事实表，由维度和指标组成。维度是描述事物的角度，如性别、地区等。指标是对事[阅读全文:]