码迷,mamicode.com
首页 > 其他好文 > 详细

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

时间:2014-11-20 11:35:36      阅读:159      评论:0      收藏:0      [点我收藏+]

标签:style   http   io   ar   color   os   使用   sp   for   

从控制台可以看到我们的程序成功在集群上运行:

bubuko.com,布布扣

Detail for stage 1:

bubuko.com,布布扣

bubuko.com,布布扣

Detail for Stage 0:

bubuko.com,布布扣

bubuko.com,布布扣

查看一下Executors的信息:

 

bubuko.com,布布扣

上述信息表明程序成功在Spark集群上运行。

第四步:基于IDEA构建Spark开发环境

1,下载IDEA13.1.4社区版本“Community Edition FREE”

http://www.jetbrains.com/idea/download/ 

 

bubuko.com,布布扣

2,安装IDEA并配置IDEA系统环境变量

 

具体安装和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627 

 

3,使用IDEA开发Spark程序,我们这里使用SparkPi来验证开发环境

 

具体开发和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627

 

4,通过IDEA在集群上运行程序,此时需要加入

 

“conf.setMaster(spark://192.168.35.129:7077)” 

 

运行之即可。

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

标签:style   http   io   ar   color   os   使用   sp   for   

原文地址:http://www.cnblogs.com/spark-china/p/4110064.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!