本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要运行以下命令即可，假设当前目录是...
分类：
Web程序 时间：
2015-05-28 18:13:05
阅读次数：
208
本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分：
（1）环境准备
（2）安装scala
（3）安装spark
（4）验证安装情况
1、环境准备
（1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You wil...
分类：
其他好文 时间：
2015-04-27 15:14:49
阅读次数：
132
注：下载地址：http://downloads.typesafe.com/scala/2.11.6/scala-2.11.6.tgz?_ga=1.41078626.1125902863.1429259252可采用#wget"下载地址"方法下载到指定位置下载scala-2.11.6.tgz并保存到/usr/local/src目录.1、解压#tar-zxfscala-2.11.6.tgz#sudomvscala-2.11.6/usr/lib2、..
分类：
其他好文 时间：
2015-04-17 18:34:07
阅读次数：
208
1.Scala REPL的使用安装完scala，并且把scala安装目录的bin目录追加到PATH环境变量。这时就可以直接在cmd下输入scala进入REPL进入REPL，在命令提示符后面可以输入scala中合法的表达式。例如我们输入8*5+2上面的res0就是保存表达式结果的变量，Int代表表达式...
分类：
其他好文 时间：
2015-04-13 15:56:44
阅读次数：
156
1、下载scala2.11.5版本，下载地址为：http://www.scala-lang.org/download/2.11.5.html2、安装和配置scala：第一步：上传scala安装包 并解压第二步 配置SCALA_HOME环境变量到bash_profile第三步 source 使配置环境...
分类：
其他好文 时间：
2015-03-14 15:07:35
阅读次数：
162
1、下载spark解压到D盘，现在的版本是1.2.12、下载scala安装到d:\ProgramFiles(x86)\scala\ 安装好scala后需要配置环境变量 修改path这个变量，把Scala的bin目录也放进去D:\ProgramFiles(x86)\scala\bin（现在版本的sca...
、下载scala2.11.5版本，下载地址为：http://www.scala-lang.org/download/2.11.5.html 2、安装和配置scala： 第一步：上传scala安装包 并解压 第二步 配置SCALA_HOME环境变量到bash_profile 第三步 source 使配置...
分类：
其他好文 时间：
2015-02-09 12:59:33
阅读次数：
255
安装JDK
java 运行环境 步骤不详说了 学过java的都会
安装scala
1.下载scala
http://yunpan.cn/cKxPMQLtJVdsU 提取码 6784
版本是2.11.4
2.双击scala 安装文件 ，界面如下
单击Next,
勾选 I accept the...
分类：
其他好文 时间：
2015-01-30 17:46:52
阅读次数：
163
参考文：http://blog.csdn.net/silentbalanceyh/article/details/4440628对话式运行代码 在cmd中输入scala，进入scala解释器。其为scala安装目录下的bin目录下的一个批处理文件，文件名：scala.bat。 cmd中显...
分类：
其他好文 时间：
2014-11-25 07:03:18
阅读次数：
850
安装配置hosts配置： 用户： useradd spark1、SSH无密码登录2、JDK3、安装Scala 2.10.44、安装配置Spark4.1、解压与权限 chown -R spark:spark /opt/spark4.2、配置workervi conf/slavesES122ES123E...
分类：
其他好文 时间：
2014-09-12 11:35:33
阅读次数：
197
