1.安装JDK1.7、Maven3.2.5、Scala2.10.4 2.下载解压Spark1.4.0 下载地址：http://mirrors.cnnic.cn/apache/spark/spark-1.4.0/spark-1.4.0.tgz 3.下载安装 IntelliJ IDEA 14.1.4，给IDEA安装 Scala 插件，然后导入...
分类：
其他好文 时间：
2015-08-30 06:38:43
阅读次数：
327
在这次对Spark粗略的讲解过程中，我们还没有讲如何在单独的应用程序中使用Spark。撇开交互式运行来说，我们能在Java，Scala或这Python程序中连接Spark。与在shell中连接Spark相比，唯一的区别是，在程序中，你需要自己初始化SparkContext 。
连接Spark的过程因语言而异。在Java和Scala中，你在你的应用程序的Maven依赖中添加对spark-c...
分类：
其他好文 时间：
2015-08-30 06:37:00
阅读次数：
185
一、Spark是什么
1、与Hadoop的关系
如今Hadoop已经不能狭义地称它为软件了，Hadoop广泛的说可以是一套完整的生态系统，可以包括HDFS、Map-Reduce、HBASE、HIVE等等。。
而Spark是一个计算框架，注意，是计算框架
其可以运行在Hadoop之上，绝大部分情况下是基于HDFS
说代替Hadoop其实是代替Hadoop中的Map-Reduce，用来解决M...
分类：
其他好文 时间：
2015-08-30 01:07:34
阅读次数：
1083
Spark提供了交互式shell，交互式shell让我们能够点对点（原文：ad hoc）数据分析。如果你已经使用过R，Python，或者Scala中的shell，或者操作系统shell（例如bash），又或者Windows的命令提示符界面，你将会对Spark的shell感到熟悉。
但实际上Spark shell与其它大部分shell都不一样，其它大部分shell让你通过单个机器上的磁盘或者内...
分类：
编程语言 时间：
2015-08-29 21:45:24
阅读次数：
632
classSparkContextextendsLoggingwithExecutorAllocationClientMain entry point for Spark functionality.spark功能函数的主入口。defparallelize[T](seq:Seq[T],numSlic...
分类：
其他好文 时间：
2015-08-29 21:29:25
阅读次数：
198
上一节举例讲解了transformation操作，这一节以reduce为例讲解action操作
首先看submitJob方法，它将我们reduce中写的处理函数随JobSubmitted消息传递出去，因为每个分区都需要调用它进行计算；
而resultHandler是指最后合并的方法，在每个task完成后，需要调用resultHandler将最终结果合并。所以它不需要随JobSubmitted消...
分类：
其他好文 时间：
2015-08-29 17:04:24
阅读次数：
225
[Author]: kwu --- 基于CDH5.4的Spark1.4.1下SparkR的部署，R与Spark的结合为数据分析提供高效的解决方案，Hadoop的中hdfs为数据分析提供分布式存储。本文介绍集成安装的步骤：...
分类：
其他好文 时间：
2015-08-29 15:29:09
阅读次数：
172
既然你已经在shell里运行了你的第一个Spark代码片段，是时候来学习在shell里面编程的更多细节了。
从上层看，每一个Spark程序都是由一个驱动程序组成，这个驱动程序在集群上发布各种各样的平行操作。驱动程序包含你的应用程序的main函数，定义在集群上的分布式数据集，并且将一些操作作用在这些数据集上。在之前的例子中，驱动程序是Spark shell本身，你只需要在里面输入你想要运行...
分类：
其他好文 时间：
2015-08-29 09:52:10
阅读次数：
262
package com.leegh.parameterization/** * @author Guohui Li */class Pair_Ordering[T: Ordering](val first: T, val second: T) { def bigger(implicit order....
分类：
其他好文 时间：
2015-08-29 09:44:52
阅读次数：
215
scala目前的书籍有两《快学scala》和《scala编程》。资料确实不多，对这个语法使用只能结合使用进行理解。先看源码：private[spark] trait ActorLogReceive { self: Actor => override def receive: Actor.Rece.....
分类：
其他好文 时间：
2015-08-29 00:47:29
阅读次数：
138
