亿信ABI
当前版本:5.6.1

快速装卸组件

1.Greenplum卸载组件

数据交换组件支持Greenplum数据库表导出为文本文件。通过该方式可有效的提高Greenplum数据库的数据交换的效率。

【操作步骤】

前置步骤:

1.Liunx服务器或者windows服务器已部署边缘采集节点程序。

2.在睿治服务器系统设置-参数配置-配置边缘采集节点和gpfdist调度参数。

详情见部署手册。

在数据整合-任务定义-交换任务中的快速装卸载组件新增Greenplum卸载组件。通过新建交换任务,拖入Greenplum卸载组件,配置Greenplum要卸载输出成文本文件的表,此处我们以xsb(学生表)为例。

然后再配置输出端,即将生成的文本文件输出存储的目标服务器。此处我们支持存储的服务器有四种分别是边缘采集节点所在的服务器、睿治产品所在的服务器、FTP服务器、HDFS服务器。此处我们以输出到边缘采集节点所在的服务器为例。

当我们选择输出到边缘采集节点所在的服务器时,我们需要在卸载设置页面选择两次边缘采集节点,第一次是选择该任务运行的gpfdist程序所在的边缘采集节点此处我们选择172.21.180.40 这个边缘采集节点作为执行gpfdist程序的节点,第二次是选择将生成的文本文件存储到目标边缘采集节点的服务器,此处我们选择172.21.150.6 作为生成文件的存储服务器。选择好后,配置文件输出的路径、字符集等参数,点击运行。

运行完成后,我们可以去172.21.150.6服务器/目录下查看,生成的文件。

注意:

1.生成文件的路径为相对路径,默认在边缘采集节点程序所在的目录下,例如上述案例中172.21.150.6 的程序的文件夹目录为/home/edi-edgenodeagent-linux,此处导出的文件路径我们填写为xsb.txt,所以生成文件存储的绝对路径是/home/edi-edgenodeagent-linux/xsb.txt.路径支持函数和参数。

2.所建立得GP数据库连接池用户必须有建立创建外部表得权限.

3.当我们选择文件存储的服务器为睿治产品所在的服务器时。微服务集群环境下文件的导出路径为相对路径。例:输入/work代表文件存放在,平台工作目录/etlfiles/work文件夹里。路径支持函数和参数。单体环境下,文件夹的路径为睿治环境所在服务器的绝对路径,例/opt/wordir/txt,代表生成的文件存放在睿治环境所在服务器的/opt/wordir/txt目录下。

4.当我们选择文件存储服务器为FTP或者HDFS服务器时,需提前在数据源中建立好相对应的FTP数据源和HDFS数据源。

5.同一边缘采集节点我们可通过在系统设置-参数设置中新建多个gpfdist参数来提高任务运行的性能。

附件列表

0

文档内容仅供参考
如果您需要解决具体问题,还可以登录亿信社区
在提问求助板块提问,30分钟内帮您解决问题

如果您认为本词条还有待完善,请编辑

上一篇Xml解析组件

下一篇输入输出组件

请先登录