第四步：配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;修改Hadoo...
分类：
其他好文 时间：
2014-08-25 16:51:54
阅读次数：
267
1.下载spark源码，在spark源码目录下面有个make-distribution.sh文件，修改里面的参数，使编译后能支持hive，修改后执行该文件。（要预先安装好maven才能编译）。2.将编译好的spark源码部署到机器上，然后将hive/conf中的hive-site.xml拷贝到spa...
分类：
其他好文 时间：
2014-08-25 10:02:34
阅读次数：
271
Spark和Halo(MX) Halo(MX)是Flex3独有的组件； Spark是Flex4引入的新一代组件； Flex4同时支持 Spark和Halo(MX); Spark容器允许改变布局算法； Halo(MX)组件则内置了不去算法，所以如果在Halo(MX)中，如果想使用另...
分类：
其他好文 时间：
2014-08-24 15:32:03
阅读次数：
329
今天碰到的一个 spark问题，困扰好久才解决首先我的spark集群部署使用的部署包是官方提供的spark-1.0.2-bin-hadoop2.tgz部署在hadoop集群上。在运行java jar包的时候使用命令java -jar chinahadoop-1.0-SNAPSHOT.jar chin...
分类：
编程语言 时间：
2014-08-24 08:04:42
阅读次数：
321
部署spark集群使用spark包spark-1.0.2-bin-hadoop2.tgz在spark-shell和java -jar访问hadoop hdfs上的文件写法是有区别的在spark-shell直接使用/user/ning/1.txt 之类的路径，不用加hdfs://host:port 的...
分类：
编程语言 时间：
2014-08-24 08:04:12
阅读次数：
261
1.Spark Streaming 代码分析：
1.1 示例代码DEMO：
实时计算的WorldCount：
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org....
分类：
其他好文 时间：
2014-08-24 00:24:21
阅读次数：
615
数据挖掘经典算法国际权威的学术组织ICDM，于06年12月年评选出的数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.个人论文采用的是Apriori，所以针对于此...
分类：
其他好文 时间：
2014-08-23 22:52:21
阅读次数：
273
在Spark中，每一个RDD是对于数据集在某一状态下的表现形式，比如说：map、filter、group by等都算一次操作，这个状态有可能是从前一状态转换而来的；因此换句话说一个RDD可能与之前的RDD(s)有依赖关系；RDD之间存在依赖关系；根据依赖关系的不同，可以将RDD分成两种不同的类型：宽...
分类：
其他好文 时间：
2014-08-21 16:39:14
阅读次数：
223
Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】
分类：
其他好文 时间：
2014-08-21 13:04:34
阅读次数：
214
