1. 概述
平台支持多种数据源，包括数据库、文件、接口、FTP服务器等。支持分系统管理数据源，系统中包含所有类型的数据源。系统初始化时会自动创建一个默认系统。
本文用于介绍各类数据源的创建。
2. 新建系统
在数据源首页可新建系统，系统中包含所有类型的数据源。
3. 数据库连接池
点击【新建连接池】按钮，界面会出现多种类型的数据库连接池可供选择，包括Mysql、Oracle、SQL Server、DB2等，如下图：
我们以连接Oracle数据库为例，点击【新建连接池】，选择Oracle，然后在弹出的对话框中填写连接池的相关信息，如下图所示：
点击【测试连接】，测试连接该数据库，测试成功之后点击【确定】，完成连接池创建。在列表中也会显示该连接池是否连通，如下图所示：
勾选连接池后点击【连通检测】可重新进行连通状态检测。也可以在【系统设置】-【参数设置】-【数据源连通性检测】中开启定时自动检测。
4. 文件数据源
文件数据源是将本地文件上传到服务器，可以用来新建主题表，以及在ETL任务的平面文件输入组件和Excel输入组件中使用。
点击【新建】按钮，界面出现4种文件类型可供选择，包括EXCEL、TXT、CSV、DB，选择EXCEL（这里以Excel文件为例，其他文件操作相同）之后会弹出“新建文件数据源”对话框，在对话框中上传本地Excel文件，如下图所示：
点击【确定】按钮，完成文件数据源创建。【编辑】该数据源，可修改数据源标题。
5. 接口数据源
接口数据源可以实现与第三方系统的接口数据进行传输，目前支持接入http协议接口和WebService接口。接口数据源可以用来创建主题表，以及在ETL任务的HTTP接口组件中使用。
点击【新建】按钮，在弹出的对话框里填写相关信息，如下图所示：
- 数据源名称：系统内所有的接口数据源的唯一标识。
- 接口地址：接口访问的http地址，一般以http或https开头。
- 请求类型：HTTP请求方法名，一般按接口提供方规范来确定选用，当参数非常多时，建议选择成POST方法。例如：GET|POST。
- 原始编码：一般是UTF-8编码，一般不修改。例如：UTF-8 | GBK。
- 目标编码：一般是UTF-8编码，如果接口方有要求，可以设置成他们需要的编码格式。例如：UTF-8 | GBK。
- 格式：如果是WebService接口，这里选择为WSDL。
- 执行操作：格式为WSDL时，会自动获取该接口的所有方法供选择。
- 协议：接口地址为https，则【协议】可选，且默认值为“SSLv3”。
- 记录调用日志：勾选该选项，每次调用接口后会记录日志，日志信息在系统日志中的接口请求日志中。
- 请求成功条件：设置接口请求成功条件，根据返回判断信息，用于接口日志中的请求状态判断。
- 参数设置：请求接口对应的参数设置，指定数据源需要的各参数名称、描述以及默认值，值会采用设置好的编码进行编码处理。WebService接口（格式为WSDL）时，可使用【初始化参数】功能，自动获取当前执行操作的所有输入参数，参数值需要用户自行设置。
点击【测试】按钮，测试接口是否正常，确认接口地址无误之后，点击【下一步】按钮，进入映射字段设置界面，如下图所示：
程序默认采用“自动映射”，会自动识别响应信息中的数据结构，在【数据结构】中勾选需要用到的字段，非同级节点不可选，字段会在右侧列表中显示，可以修改数据类型和描述。
如果自动映射不能满足用户个性化的需求，可以选择“手动映射”，手动映射支持脚本，编写完脚本后，点击【执行】，可以获取到对应的字段。
使用接口数据源进行数据整合时，可设置为无映射。
点击【确定】完成接口数据源创建。
Tips： 使用接口数据源创建主题表时，需设置为手动或自动映射；使用接口数据源进行数据整合时，可设置为无映射。 |
6. 第三方数据源
6.1创建数据源
Step1：新建第三方数据源
Step2：填写小程序基本信息
AppID：小程序唯一凭证，即 AppID
AppSecret：小程序唯一凭证密钥，即 AppSecret
不记得小程序的AppID和AppSecret时，可登录微信小程序官方账号获取：https://mp.weixin.qq.com/wxopen/devprofile?action=get_profile&token=1717029173
Step3：初始化数据设置
起始日期：该日期为必填项，表示抽取小程序数据的时间范围为：所选日期 — 当前日期的前一天（注：当天数据无法获取）。
最后，点击【确定】完成数据源创建，此时获取到的小程序数据已经存储到ABI系统库中。
6.2新建主题表
功能入口：
新建主题表页面：
第三方数据源创建了几张数据库表，上面的列表就出现几张主题表（不支持删除部分主题表的操作，创建主题表的方式只有全部创建）。
新建主题表结果页面：
6.3更新小程序数据
更新小程序数据，会先将小程序表中的数据清空，再重新请求数据，放入到表中。
7. FTP服务器
当需要与服务器进行FTP连接时，可以使用FTP数据源。FTP数据源可在ETL任务的FTP上传下载组件中使用。
点击【新建】，在弹出的对话框填写相关信息，测试无误后点击【确定】完成FTP服务器创建。
通过【上传文件】功能，可将本地文档上传到ftp服务器中。
8. 文件传输代理
文件传输代理用于不同系统间文件的传输，通过两个MQ节点来实现文件传输。此数据源在ETL任务的文件传输代理组件中使用。
8.1安装MQ节点
- Windows操作系统
1) 安装代理
解压客户端安装包edataexchange-mq.zip即可。
2) 配置环境
修改传输代理的内存大小、端口号、工作路径、JDK路径等，在启动文件run.bat中设置。
配置参考如下：
set JAVA_OPTS=-Xmx1024M -Dserver.port=8686 -Desen.edx.mq.port=61616 -Desen.edx.workdir=%~dp0/workdir/
%~dp0\jdk1.7.0_21\bin\java %JAVA_OPTS% -jar edataexchange-mq-1.1.2-SNAPSHOT.jar
注：其中内存大小不能低于1024M，8686是jar包内置tomcat的端口，61616是TCP监听端口
3) 启动传输代理
点击run.bat运行即可。
- Linux操作系统
1) 安装代理
将客户端安装包edataexchange-mq.zip上传至linux服务器,如 /opt/test下，解压安装包。
解压命令：unzip edataexchange-mq.zip
2) 配置环境
修改传输代理的JDK路径、内存大小、端口号、工作路径等，在启动文件 run.sh中设置。
配置参考如下：
JAVA_OPTS="-Xmx1024M -Dserver.port=8686 -Desen.edx.mq.port=61616 -Desen.edx.workdir=$Cur_Dir/workdir/"
$Cur_Dir/jdk1.7.0_45/bin/java -Xmx1024M -Dserver.port=8686 -Desen.edx.mq.port=61616 -Desen.edx.workdir=$Cur_Dir/workdir/ -jar edataexchange-mq-1.1.2-SNAPSHOT.jar
注：$Cur_Dir指获取当前路径，内存大小不能低于1024M ，8686是jar包内置tomcat的端口，61616是TCP监听端口
3) 启动传输代理
进入解压后的文件夹即可运行，命令如下：
cd edataexchange-mq
./run.sh
8.2新建代理数据源
点击【新建】按钮，在弹出的对话框中填写相关信息，设置完成后，可以点击【测试连接】进行连接测试，若连接失败，可根据出错信息进行参数的调整；若连接成功，点击【确定】即可完成文件传输代理的添加，如下图所示：
9. kafka数据源
支持对接Kafka数据源，在设计实时任务时，可以选择配置好的Kafka数据源，将消息写入Kafka，或者从Kafka读取消息。
点击【新建】按钮，在弹出的对话框中填写相关信息，如下图：
其中，Kafka地址是指broker地址，格式为IP:端口，如xxx.xxx.xxx.1:9092
点击【测试连接】按钮，测试成功之后点击【确定】，完成数据源创建。
10. HDFS数据源
支持对接大数据平台，对接HDFS。HDFS数据源可在ETL任务的大数据组件中使用，实现对HDFS的读写。
点击【新建】按钮在弹出的对话框中填写相关信息，如下图：
填写无误后点击【测试连接】按钮，测试成功之后点击【确定】，完成数据源创建。
11. MongoDb数据源
MongoDb数据源操作入口如下所示：
点击新建按钮后会出现如下所示
注意：MongoDb数据源使用前，请先将MongoDb驱动放置到指定路径下：工作目录/lib/edi/mongodb。
请先登录