在Spark中，每一个RDD是对于数据集在某一状态下的表现形式，比如说：map、filter、group by等都算一次操作，这个状态有可能是从前一状态转换而来的；因此换句话说一个RDD可能与之前的RDD(s)有依赖关系；RDD之间存在依赖关系；根据依赖关系的不同，可以将RDD分成两种不同的类型：宽...
分类：
其他好文 时间：
2014-08-21 16:39:14
阅读次数：
223
Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】
分类：
其他好文 时间：
2014-08-21 13:04:34
阅读次数：
214
一.环境配置Myeclipse中虽然已经集成了maven插件，但是由于这个插件版本较低，建立maven project会出现错误。解决办法：自己到官网http://maven.apache.org/下载最新版本的maven插件，解压，在环境变量中注册。新建环境变量M2_HOME在PATH里加入mav...
分类：
编程语言 时间：
2014-08-20 20:59:12
阅读次数：
279
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。－storage篇...
分类：
其他好文 时间：
2014-08-19 16:42:55
阅读次数：
207
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 压缩与序列化篇...
分类：
其他好文 时间：
2014-08-19 16:41:35
阅读次数：
324
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。－ 任务调度篇...
分类：
其他好文 时间：
2014-08-19 16:41:25
阅读次数：
311
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。...
分类：
其他好文 时间：
2014-08-19 14:35:14
阅读次数：
311
四、配置客户端1.来到XMPP官网，寻找所需客户端软件2.选用电脑自带的信息，Adium和Spark这三个客户端软件，我共享的资源里有3.首先来配置信息打开信息 ->添加账户 ->其他邮件账户 ->继续->账户类型:Jabber ->用户名：zhangsan->密码：123456 ->创建
分类：
其他好文 时间：
2014-08-18 21:47:52
阅读次数：
270
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类：
其他好文 时间：
2014-08-17 21:08:52
阅读次数：
890
