码迷,mamicode.com
首页 > 其他好文 > 详细

安装spark笔记

时间:2015-12-22 21:04:57      阅读:162      评论:0      收藏:0      [点我收藏+]

标签:

centOS 

 准备三台机器 hadoop-1,hadoop-2,hadoop-3

提前安装好 jdk,python,host name,ssh

 

安装scala

下载 scala rpm包

在/home/${user}/soft/下

wget http://www.scala-lang.org/files/archive/scala-2.9.3.rpm(不使用,安装后没找到安装后目录)

rpm -ivh scala-2.9.3.rpm

在http://www.scala-lang.org/download/all.html下挑一个稳定版本下载

解压 tar -zxvf scala包

添加scala环境变量

在/etc/profile结尾增加

export SCALA_HOME=/home/${user}/soft/scala

export PATH=$PATH:$SCALA_HOME/bin

让配置文件立即生效

source /etc/profile

 

验证scala安装

scala -version

scala

9*9

res0: Int = 81

 

安装 spark

 

获取spark包

wget http://mirror.bit.edu.cn/apache/spark/spark-1.5.2/spark-1.5.2.tgz(错误需要用编译后的包)

在/home/${user}/soft/下

wget http://mirror.bit.edu.cn/apache/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

解压 tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz

 

添加spark环境变量

在/etc/profile结尾增加

export SPARK_HOME=/home/${user}/soft/spark-1.5.2-bin-hadoop2.6

export PATH=$PATH:$SPARK_HOME/bin

让配置文件立即生效

source /etc/profile

 

修改spark配置

修改spark-env配置

复制文件 cp spark-env.sh.template spark-env.sh

修改spark-env.sh

#scala

export SCALA_HOME=/home/${user}/soft/scala

#jdk
export JAVA_HOME=/usr/java/jdk1.7.0_51

#master结点ip
export SPARK_MASTER_IP=10.171.29.191

#结点工作用内存
export SPARK_WORKER_MEMORY=512m 

 

配置conf文件下slaves

cp slaves.template slaves

编辑slaves

添加

hadoop-1

hadoop-2

hadoop-3

 

分发到其他机器

将配置好的scala和hadoop目录scp到其他的机器 hadoop-2和hadoop-3。

 

启动spark

执行sbin目录下start-all.sh

 

验证spark环境

$ bin/run-example  org.apache.spark.examples.SparkPi

查看http://hadoop-1:8080/

 

启动spark-shell

查看http://hadoop-1:4040/jobs/

 

安装spark笔记

标签:

原文地址:http://www.cnblogs.com/isenhome/p/5063659.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!