码迷,mamicode.com
首页 > Windows程序 > 详细

Spark笔记--使用Maven编译Spark源码(windows下)

时间:2016-05-03 21:53:45      阅读:279      评论:0      收藏:0      [点我收藏+]

标签:

1. 官网下载源码 source code,地址: http://spark.apache.org/downloads.html

2. 使用maven编译:

  注意在编译之前,需要设置java堆大小以及永久代大小,避免mvn出现内存溢出的情况。
  windows下设置:%MAVEN_HOME%\bin\mvn.cmd,将其中的

@REM set MAVEN_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000 

这行注释下方加一行

set MAVEN_OPTS= -Xmx2048m -XX:PermSize=512m -XX:MaxPermSize=1024m

 之后进行编译

mvn -Pyarn -Phadoop-2.4.1 -Dhadoop.version=2.4.1 -Phive -DskipTests clean package

编译完成后,将项目导入intellij

File->import setting->打开源码文件下的pom.xml等待完成即可

 

Spark笔记--使用Maven编译Spark源码(windows下)

标签:

原文地址:http://www.cnblogs.com/gnivor/p/5456479.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!