第三步：测试Spark集群把Spark安装包下的”README.txt”上传到通过hdfs的web控制台可以发现成功上传了文件：使用“MASTER:spark://SparkMaster:7077./spark-shell”命令启动Sparkshell：接下来通过以下命令读取刚刚上传到HDFS上的“...
分类：
其他好文 时间：
2014-11-19 14:08:57
阅读次数：
220
1. expect安装Expect是基于Tcl语言的一种脚本语言，其实无论是交互还是非交互的应用场合，Expect都可以大显身手，但是对于交互式的特定场合，还非Except莫属。第1步：使用root用户登录 第2步：下载安装文件expect-5.43.0.tar.gz 和 tcl8.4.11-src...
分类：
其他好文 时间：
2014-11-19 12:34:07
阅读次数：
290
为了支持hbase0.98.6，需要重新编译spark1. 下载spark 1.1.0源代码，以及scala-2.10.4的bin包。将环境变量 SCALA_HOME 设置为scala-2.10.4 的目录位置。2. 下载较新的pom.xml (https://github.com/tedyu/sp...
分类：
其他好文 时间：
2014-11-19 12:16:35
阅读次数：
481
此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”?从Web的角度看一下SparkUI的情况，如下图所示： 当然，你也可以查看一些其它的信息，例如Environment: ? 同时，...
分类：
其他好文 时间：
2014-11-19 02:24:01
阅读次数：
265
此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”从Web的角度看一下SparkUI的情况，如下图所示：当然，你也可以查看一些其它的信息，例如Environment:同时，我们也可以看一下Executors：至此，我们的Spa...
分类：
其他好文 时间：
2014-11-18 23:59:23
阅读次数：
386
【时间】2014年11月18日【平台】Centos 6.5【工具】scp【软件】jdk-7u67-linux-x64.rpm spark-worker-1.1.0+cdh5.2.0+56-1.cdh5.2.0.p0.35.el6.noarch.rpm spark-core-1.1.0+c...
分类：
其他好文 时间：
2014-11-18 17:22:52
阅读次数：
515
声明:本文基于spark的programming guide,并融合自己的相关理解整理而成
Spark应用程序总是包含着一个driver program(驱动程序),它执行着用户的main方法,并且执行大量的并行操作(parallel operations)在集群上.
概述
Spark最主要的抽象就是RDD(resilient di...
分类：
其他好文 时间：
2014-11-18 14:51:18
阅读次数：
176
前言http://blog.csdn.net/shimiso/article/details/8816558Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用...
分类：
系统相关 时间：
2014-11-18 13:12:55
阅读次数：
379
配置三个节点的spark集群，集群模式为standalone模式，其中sp1节点作为主节点，sp2节点和sp3节点为从节点。***注意所有操作均为root用户。 创建3个CentOS虚拟机，如下： sp1 192.168.1.21 //master节点 sp2 192.168.1.22 //slav...
分类：
其他好文 时间：
2014-11-18 11:43:26
阅读次数：
237
第二步：构造分布式的Spark1.0.2集群1,下载Scala2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；2，安装和配置Scala...
分类：
其他好文 时间：
2014-11-17 22:39:09
阅读次数：
213
