1.下载spark源码，在spark源码目录下面有个make-distribution.sh文件，修改里面的参数，使编译后能支持hive，修改后执行该文件。（要预先安装好maven才能编译）。2.将编译好的spark源码部署到机器上，然后将hive/conf中的hive-site.xml拷贝到spa...
分类：
其他好文 时间：
2014-08-25 10:02:34
阅读次数：
271
Spark和Halo(MX) Halo(MX)是Flex3独有的组件； Spark是Flex4引入的新一代组件； Flex4同时支持 Spark和Halo(MX); Spark容器允许改变布局算法； Halo(MX)组件则内置了不去算法，所以如果在Halo(MX)中，如果想使用另...
分类：
其他好文 时间：
2014-08-24 15:32:03
阅读次数：
329
今天碰到的一个 spark问题，困扰好久才解决首先我的spark集群部署使用的部署包是官方提供的spark-1.0.2-bin-hadoop2.tgz部署在hadoop集群上。在运行java jar包的时候使用命令java -jar chinahadoop-1.0-SNAPSHOT.jar chin...
分类：
编程语言 时间：
2014-08-24 08:04:42
阅读次数：
321
部署spark集群使用spark包spark-1.0.2-bin-hadoop2.tgz在spark-shell和java -jar访问hadoop hdfs上的文件写法是有区别的在spark-shell直接使用/user/ning/1.txt 之类的路径，不用加hdfs://host:port 的...
分类：
编程语言 时间：
2014-08-24 08:04:12
阅读次数：
261
1.Spark Streaming 代码分析：
1.1 示例代码DEMO：
实时计算的WorldCount：
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org....
分类：
其他好文 时间：
2014-08-24 00:24:21
阅读次数：
615
Scala是一门混合了函数式和面向对象的语言。Scala运行在JVM上，在Scala中你可以直接使用Java API，并且你还可以享受到Scala所带来的便捷，尤其是在多线程应用中。你应该首先安装JDK，然后下载Scala，开发工具推荐intelli J，你用eclipse也可以。首先看第一个Sca...
分类：
其他好文 时间：
2014-08-22 00:15:45
阅读次数：
329
在Spark中，每一个RDD是对于数据集在某一状态下的表现形式，比如说：map、filter、group by等都算一次操作，这个状态有可能是从前一状态转换而来的；因此换句话说一个RDD可能与之前的RDD(s)有依赖关系；RDD之间存在依赖关系；根据依赖关系的不同，可以将RDD分成两种不同的类型：宽...
分类：
其他好文 时间：
2014-08-21 16:39:14
阅读次数：
223
Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】
分类：
其他好文 时间：
2014-08-21 13:04:34
阅读次数：
214
Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
at akka.actor.ActorCell$.(ActorCell.scala:336)
at akka.actor.Act...
分类：
其他好文 时间：
2014-08-20 22:41:43
阅读次数：
982
