码迷,mamicode.com
首页 > 系统相关 > 详细

在eclipse中配置spark 0.9.1源码的开发环境

时间:2014-05-09 03:27:34      阅读:512      评论:0      收藏:0      [点我收藏+]

标签:style   blog   java   color   http   width   

 

一、准备工作:

1、下载release版spark 0.9.1,本次用的版本是spark-0.9.1-bin-cdh4。

2、下载scala IDE 3.0.2,这个版本ide的支持scala 2.10版。

bubuko.com,布布扣

 

二、配置工作

1、在ide中新建scala项目,注意jre要用jdk1.7版的。如下图:

bubuko.com,布布扣

2、找到spark-0.9.1-bin-cdh4\core\src\main,目录下java、resources、scala三个目录,如下图

bubuko.com,布布扣

        找到spark-0.9.1-bin-cdh4\repl\src\main,目录下有sacla一个目录,如下图

bubuko.com,布布扣

        将java、resources、scala、scala共4个目录及文件到项目ide的src目录下,repl\src\main下的sacla目录在ide里改为repl,ide中的目录结构如下:

bubuko.com,布布扣

        然后在ide中刷新,更新项目目录。

3、在ide弹出项目的“properties”窗口。

        A、在”Java Build Path\Libraries”找到添加Hadoop和Spark的包,如下图所示:

bubuko.com,布布扣

        其中,对spark-assembly_2.10-0.9.1……cdh4.2.0.jar文件做修改,把里边的org\apache\spark目录删除掉。

        B、在”Java Build Path\Source”页面点击“Link Source……”

bubuko.com,布布扣

        操作4次,分别添加java、resources、scala、repl目录,然后“Remove”按钮,删除项目原有的src目录,结果如下:

bubuko.com,布布扣

        最终的项目结构如下图所示:

bubuko.com,布布扣

        此时,ide已经可以编译,但有错误,原因是编译配置不对。

4、编译设置

        A、java编译配置

bubuko.com,布布扣

        B、scala编译配置

bubuko.com,布布扣

bubuko.com,布布扣

5、运行。

        在ide中找到org\apache\spark\repl包下的Main.scala,打开后运行应该可以看到如下内容:

bubuko.com,布布扣

        启动完后,与spark-shell的操作界面一样,如下图:

bubuko.com,布布扣

在eclipse中配置spark 0.9.1源码的开发环境,布布扣,bubuko.com

在eclipse中配置spark 0.9.1源码的开发环境

标签:style   blog   java   color   http   width   

原文地址:http://www.cnblogs.com/lam99v/p/3716207.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!