码迷,mamicode.com
首页 > 其他好文 > 详细

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)

时间:2014-10-10 17:15:24      阅读:210      评论:0      收藏:0      [点我收藏+]

标签:spark   spark书籍   spark热点   spark技术   

第四步修改配置文件slaves,如下所示:

bubuko.com,布布扣

我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2,把slaves文件的内容修改为:

bubuko.com,布布扣

第五步修改配置文件core-site.xml,如下所示:

bubuko.com,布布扣

把core-site.xml文件的内容修改为:

bubuko.com,布布扣

上述是core-site.xml文件的最小化配置,core-site.xml各项配置可参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

第六步修改配置文件hdfs-site.xml,如下所示:

bubuko.com,布布扣

把hdfs-site.xml文件的内容修改为:

bubuko.com,布布扣

上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各项配置课参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

第七步修改配置文件mapred-site.xml,如下所示:

拷贝一份mapred-site.xml.template命名为mapred-site.xml,打开mapred-site.xml 

bubuko.com,布布扣

把mapred-site.xml文件的内容修改为:

bubuko.com,布布扣

上述是mapred-site.xml最小化配置,mapred-site.xml各项配置可参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

第七步修改配置文件yarn-site.xml,如下所示:

bubuko.com,布布扣

把yarn-site.xml的内容修改为:

bubuko.com,布布扣

上述内容是yarn-site.xml的最小化配置,yarn-site.xml文件配置的各项内容可以参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml


本文出自 “Spark亚太研究院” 博客,请务必保留此出处http://rockyspark.blog.51cto.com/2229525/1561969

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)

标签:spark   spark书籍   spark热点   spark技术   

原文地址:http://rockyspark.blog.51cto.com/2229525/1561969

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!