测试文档(产品帮助文档专用)

Spark引擎

质量模型执行质检时默认选择传统的JDBC引擎用于数据质检,其效率主要依赖数据库的性能。同时支持选择Spark引擎作为质检的计算引擎,其可以利用Spark服务的资源来更高效率的执行质检。

模型启用Spark引擎后,质检任务将被发送至spark分布式计算引擎中多线程计算,极大程度的提高的了质检效率。

大数据质检结果的存储需要满足存储库是大数据类型的数据库,目前仅支持到Hbase、Mysql类型,既当模型需要启用Spark引擎时存储连接池必须是Hbase或Mysql类型的连接池。

注:启用Spark引擎前需要提前在【系统设置】-【参数配置】-【大数据环境配置】页面中完成HDFS服务及Spark引擎配置。具体配置方法参考《大数据环境配置》操作手册文档

附件列表

0

文档内容仅供参考
如果您需要解决具体问题,还可以登录亿信社区
在提问求助板块提问,30分钟内帮您解决问题

如果您认为本词条还有待完善,请编辑

上一篇编辑主题表

下一篇智能体检

请先登录