摘要: 实时JSON解析组件1.应用背景实时json解析组件可以从前置实时组件中读取到json格式的数据，然后将其解析成结构化数据，并向后置组件输出。客户的一个接口返回的用户信息，姓名性别身份证家庭住址等等，这[阅读全文:]
摘要: KAFKA生产消费组件1.前置步骤需提前部署kafka服务器，并且在产品服务器的kafka数据源中新建同一套生产开发kafka数据源连接池。如图，两数据源除适用环境不一致，其余的配置都是一样的。如果没有[阅读全文:]
摘要: 边缘采集组件1.组件介绍本章节主要介绍了如何使用边缘采集输入输出组件实时采集服务器上的日志数据。前提条件1、需要提前在采集服务器上安装边缘节点程序。2、在使用边缘采集输入输出组件前，需要配置边缘节点的I[阅读全文:]
摘要: 实时CDC日志单表同步组件1.前置步骤1.需要提前对原数据库的环境进行操作配置。目前支持的五种数据库。分别为ORACLR,MYSQL,SQLSERVER,POSTGRESQL以及达梦数据库。详情参考数据[阅读全文:]
摘要: 专为保障数据在传输、存储及交换过程中的机密性与完整性,可使用加解密组件。对选择的字段进行加密或解密，根据输出设置将字段进行输出。目前加密级组件支持AES/ECB、AES/CBC、SM2、SEM4等多种算[阅读全文:]
摘要: 实时任务中数据库表既可以作为输入源，也可以作为输出源。用户设计实时任务，拖入输入组件和处理组件以及表输出组件，然后配置好输入组件信息，处理组件处理逻辑以 及表输出组件连接池和目标表及加载方式，保存后启动[阅读全文:]
摘要: 大数据参数配置页面由原来的实时处理配置页面改造而来，在原有支持的local、standalone模式的基础上新增yarn模式的spark集群。配置大数据计算引擎后，在数据量级较大的情况下使用大数据计算引[阅读全文:]
摘要: 1.mongodb 输入组件Mongodb输入组件可直接从组件中配置mongodb数据源，选择集合进行数据的抽取，作为后续组件的数据来源。该组件输入设置tab页主要配置分别是mongodb数据[阅读全文:]
摘要: 1. 概述本文档是ETL任务的入门示例，希望大家通过这个示例理解ETL任务的制作步骤以及设计思路。下文我们以个人周报数据抽取为例，讲述ETL任务的制作步骤。具体需求如下：1)【个人周报表IGR[阅读全文:]
摘要: 1.定义数据资产是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数[阅读全文:]