在传统的实时任务中,我们运行实时任务模式默认为spark模式的,目前除了spark模式外,我们还支持了flink.
首先我们需要在系统设置-大数据环境配置中配置flink执行引擎,支持local跟yarn 两个模式。具体部署配置操作见部署手册。
配置完成后,我们进入到实时任务中,点击运行模式,选择计算引擎为flink引擎。
Local 模式下的flink引擎仅支持配置任务执行的并行度。
Yarn集群模式下的flink引擎除了并行度之外还支持配置任务内存跟执行内存,通过合理的配置这些参数可在一定程度上提升我们实时任务的执行效率。
配置完成后,点击保存,然后执行实时任务。日志中会打印实时任务执行的模式,如果是yarn_flink 还会打印 对应的yarn进程信息。
Spark 模式下,实时任务支持固定走local模式、checkpoint使用本地文件。
应用场景:1.当服务器配置了spark参数配置时,可通过在启动参数中添加jvm启动参数中配置-Dedi.spark.force_local=true进行配置,如图如下,spark配置了yarn模式,但实时任务还是固定走local模式。
2.当没有配置spark参数,但是想运行实时任务时,可通过参数配置checkpoint=file:///workdir/checkpoint(workdir建议使用工作目录),让实时任务可在本地执行。如下图,其中hdfs路径可填任意值。
请先登录