创建数据源

1. 概述

睿码平台支持多种数据源，包括数据库、文件、接口、FTP服务器等。同时支持分系统管理数据源，系统中包含所有类型的数据源。系统初始化时会自动创建一个默认系统。

本文用于介绍各类数据源的创建。

2. 新建系统节点

在数据源首页可新建系统，系统中包含所有类型的数据源。

3. 数据库连接池

3.1新建连接池

点击【新建连接池】按钮，界面会出现多种类型的数据库连接池可供选择，包括Mysql、Oracle、SQL Server、DB2等，如下图：

我们以连接Oracle数据库为例，点击【新建连接池】，选择Oracle,然后在弹出的对话框中填写连接池的相关信息，如下图所示：

点击【测试连接】，测试连接该数据库，测试成功之后点击【确定】，完成连接池创建。在列表中也会显示该连接池是否连通，如下图所示：

勾选连接池后点击【连通检测】可重新进行连通状态检测。也可以在【系统设置】-【数据源连通性检测】中开启定时自动检测。

3.2数据库管理

点击某一数据库连接池的【查看库表】或者点击菜单栏中的【数据库管理】按钮都可以进入数据库管理页面。

在数据库管理界面，可查看数据库表（或视图或同义词）数据和结构。

可导出表数据，复制表到本连接池或其他连接池。

可执行sql，并导出查询结果，或复制查询结果。

需要注意的是，在数据库管理界面切换连接池后，如果要执行sql需要新建sql窗口，并在新建的sql窗口中输入sql执行（因为切换连接池后，已有sql窗口所在的连接池不会切换）。

有多条sql时，支持选中一条sql执行。

另外，支持给表增加描述，方便理解表。

4. 文件数据源

文件数据源是将本地文件上传到服务器，可以用来新建主题表，以及在ETL任务的平面文件输入组件和Excel输入组件中使用。

点击【新建】按钮，界面出现4种文件类型可供选择，包括EXCEL、TXT、CSV、DB，选择EXCEL（这里以Excel文件为例，其他文件操作相同）之后会弹出“新建文件数据源”对话框，在对话框中上传本地Excel文件，如下图所示：

点击【确定】按钮，完成文件数据源创建。【编辑】该数据源，可修改数据源标题。

5. 接口数据源

接口数据源可以实现与第三方系统的接口数据进行传输，目前支持接入http协议接口和webService接口。接口数据源可以用来创建主题表，以及在ETL任务的HTTP接口组件中使用。

点击【新建】按钮，在弹出的对话框里填写相关信息，如下图所示：

ž 数据源名称：系统内所有的接口数据源的唯一标识。

ž 接口地址：接口访问的http地址，一般以http或https开头。

ž 请求类型：HTTP请求方法名，一般按接口提供方规范来确定选用，当参数非常多时，建议选择成POST方法。例如：GET|POST。

ž 原始编码：一般是UTF-8编码，一般不修改。例如：UTF-8 | GBK。

ž 目标编码：一般是UTF-8编码，如果接口方有要求，可以设置成他们需要的编码格式。例如：UTF-8 | GBK。

ž 格式：如果是webService接口，这里选择为WSDL。

ž 记录调用日志：勾选该选项，每次调用接口后会记录日志，日志信息在系统日志中的接口请求日志中。

ž 请求成功条件：设置接口请求成功条件，根据返回判断信息。用于接口日志中的请求状态判断。

ž 参数设置：请求接口对应的参数设置，指定数据源需要的各参数名称、描述以及默认值，值会采用设置好的编码进行编码处理。

点击【测试】按钮，测试接口是否正常，确认接口地址无误之后，点击【下一步】按钮，进入映射字段设置界面，如下图所示：

程序默认采用“自动映射”，会自动识别响应信息中的数据结构，在【数据结构】中勾选需要用到的字段，非同级节点不可选，字段会在右侧列表中显示，可以修改数据类型和描述。

如果自动映射不能满足用户个性化的需求，可以选择“手动映射”，手动映射支持脚本，编写完脚本后，点击【测试】，可以获取到对应的字段，勾选需要的字段。

点击【确定】完成接口数据源创建。

Tips： 如果接口数据源用于创建主题表，字段映射这里得按需正确获取和选择字段，这些字段是待建主题表的字段；如果是用于ETL任务中，字段映射这里可以怎么方便怎么处理，HTTP接口组件不会用到接口数据源中的字段信息。

6. FTP服务器

当需要与服务器进行FTP连接时，可以使用FTP数据源。FTP数据源可用于和文件类的数据资产进行挂接，以及在ETL任务的FTP上传下载组件中使用。

点击【新建】，在弹出的对话框填写相关信息，测试无误后点击【确定】完成FTP服务器创建。

通过【上传文件】功能，可将本地文档上传到ftp服务器中。

7. 文件传输代理

文件传输代理用于不同系统间文件的传输，通过两个MQ节点来实现文件传输。此数据源在ETL任务的文件传输代理组件中使用。

8.1安装MQ节点

Ø Windows操作系统

1) 安装代理

解压客户端安装包edataexchange-mq.zip即可。

2) 配置环境

修改传输代理的内存大小、端口号、工作路径、JDK路径等，在启动文件run.bat中设置。

配置参考如下：

set JAVA_OPTS=-Xmx1024M -Dserver.port=8686 -Desen.edx.mq.port=61616 -Desen.edx.workdir=%~dp0/workdir/%~dp0\jdk1.7.0_21\bin\java %JAVA_OPTS% -jar edataexchange-mq-1.1.2-SNAPSHOT.jar

注：其中内存大小不能低于1024M，8686是jar包内置tomcat的端口，61616是TCP监听端口

3) 启动传输代理

点击run.bat运行即可。

Ø Linux操作系统

1) 安装代理

将客户端安装包edataexchange-mq.zip上传至linux服务器,如 /opt/test下，解压安装包。

解压命令：unzip edataexchange-mq.zip

2) 配置环境

修改传输代理的JDK路径、内存大小、端口号、工作路径等，在启动文件 run.sh中设置。 

 配置参考如下： 

 JAVA_OPTS="-Xmx1024M -Dserver.port=8686 -Desen.edx.mq.port=61616 -Desen.edx.workdir=$Cur_Dir/workdir/"

$Cur_Dir/jdk1.7.0_45/bin/java -Xmx1024M -Dserver.port=8686 -Desen.edx.mq.port=61616 -Desen.edx.workdir=$Cur_Dir/workdir/ -jar edataexchange-mq-1.1.2-SNAPSHOT.jar

注：$Cur_Dir指获取当前路径，内存大小不能低于1024M ，8686是jar包内置tomcat的端口，61616是TCP监听端口

3) 启动传输代理

进入解压后的文件夹即可运行，命令如下： 

cd edataexchange-mq 

./run.sh

8.2新建代理数据源

点击【新建】按钮，在弹出的对话框中填写相关信息，设置完成后可以点击【测试连接】进行连接测试。若连接失败，可根据出错信息进行参数的调整；若连接成功，点击【确定】即可完成文件传输代理的添加，如下图所示：

8. HDFS数据源

支持对接大数据平台，对接HDFS。HDFS数据源可用于和文件类的数据资产进行挂接，以及在ETL任务的大数据组件中使用，实现对HDFS的读写。

点击【新建】按钮在弹出的对话框中填写相关信息，如下图：

填写无误后点击【测试连接】按钮，测试成功之后点击【确定】，完成数据源创建。