码迷,mamicode.com
首页 > 其他好文 > 详细

sbt自定义spark参数

时间:2016-02-22 17:27:49      阅读:136      评论:0      收藏:0      [点我收藏+]

标签:

开发spark程序时,需要依赖于spark的jar包,因此需要将spark的jar包的作用域(scope)设置成compile,如果设置成provided的话,会提示找不到ClassNotFoundException的错误。
但在线上服务构建时,又需要将作用域改成provided。那么build.sbt怎么写才可以呢?这里提供一个方法,可以用以下方法:

val spark_scope = System.getProperty("spark.scope", "compile")

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0" % spark_scope

正常开发过程中,不需要设置 spark.scope ,那么默认采用compile

正式发布时,只需要用以下命令进行构建。

sbt -Dspark.scope=provided  clean assembly

 

sbt自定义spark参数

标签:

原文地址:http://www.cnblogs.com/luckuan/p/5207587.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!