1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景：Ø 迭代式算法：迭代式机器学习、图算法，包...
分类：
其他好文 时间：
2014-11-22 16:08:17
阅读次数：
392
Spark - A tiny Sinatra inspired framework for creating web applications in Java 8 with minimal effor...
分类：
移动开发 时间：
2014-11-22 07:06:23
阅读次数：
241
从控制台可以看到我们的程序成功在集群上运行： Detail?for?stage?1： Detail?for?Stage?0: 查看一下Executors的信息： 上述信息表明程序成功在Spark集群上运行。 第四步：基于IDEA构建Spark开发环境 1,下载...
分类：
其他好文 时间：
2014-11-20 12:16:59
阅读次数：
218
hadoop有两个东东：HDFS（存储）和MapReduce（计算）。MapReduce计算比较慢，于是Spark（速度是MR的10~100倍）出现了。Spark有两个核心的概念：弹性分布式数据集RDD与共享变量。下面进行一下简单的介绍。
弹性分布式数据集（RDD）获得方式：1
并行化驱动程序内的集合; 2
从外部数据集加载。
1 并行化驱动程序内的集合code demo
val d...
分类：
其他好文 时间：
2014-11-20 12:05:17
阅读次数：
296
从控制台可以看到我们的程序成功在集群上运行：Detailforstage1：DetailforStage0:查看一下Executors的信息：上述信息表明程序成功在Spark集群上运行。第四步：基于IDEA构建Spark开发环境1,下载IDEA13.1.4社区版本“CommunityEditionF...
分类：
其他好文 时间：
2014-11-20 11:35:36
阅读次数：
159
1. 初始化 1.1 array()枚举成员 $products?=?array(‘Tires‘,?‘Oil‘,?‘Spark?Plugs‘);
$prices?=?array(‘Tires‘?=>?12,?‘Oil‘?=>?7.5,?‘Spark?Plugs‘?=>?32); 1.2 range()生成 ???? range(st...
分类：
编程语言 时间：
2014-11-19 22:26:43
阅读次数：
258
[Spark@Master hadoop]$ sbin/start-dfs.sh14/11/19 18:07:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using ...
分类：
其他好文 时间：
2014-11-19 20:12:24
阅读次数：
365
方式一: hadoop命令导出hadoop fs -get hdfs://hadoop000:8020/data/page_views2 pv2方式二:通过insert...directory导出 【spark暂不支持】导出到本地：INSERT OVERWRITE LOCAL directory.....
分类：
其他好文 时间：
2014-11-19 18:12:24
阅读次数：
181
第三步：测试Spark集群 把Spark安装包下的”README.txt”上传到 通过hdfs的web控制台可以发现成功上传了文件： 使用“MASTER:spark://SparkMaster:7077?./spark-shell”命令启动Spark?shell： 接下来通过以下命...
分类：
其他好文 时间：
2014-11-19 14:21:03
阅读次数：
211
