质量模型执行质检时默认选择传统的JDBC引擎用于数据质检,其效率主要依赖数据库的性能。同时支持选择Spark引擎作为质检的计算引擎,其可以利用Spark服务的资源来更高效率的执行质检。
模型启用Spark引擎后,质检任务将被发送至spark分布式计算引擎中多线程计算,极大程度的提高的了质检效率。
大数据质检结果的存储需要满足存储库是大数据类型的数据库,目前仅支持到Hbase、Mysql类型,既当模型需要启用Spark引擎时存储连接池必须是Hbase或Mysql类型的连接池。
注:启用Spark引擎前需要提前在【系统设置】-【参数配置】-【大数据环境配置】页面中完成HDFS服务及Spark引擎配置。具体配置方法参考《大数据环境配置》操作手册文档
请先登录