erlang 提供了简单易用的并发编程模型，基本不需要再考虑多线程并发问题。但实际应用中并不是那么的完美，很多地方需要注意，标准库也很坑人的；再者多线程编程很多很容易解决的事情，在erlang中是那么的蛋疼和无奈，嗯，erlang只是专注于自己擅长领域，慎入。 1.进程message_queu...
分类：
其他好文 时间：
2014-12-27 13:53:07
阅读次数：
202
三，Spark的RDD在Spark中一切都是以RDD为基础和核心的：每个RDD的API如下所示：Spark官方文档中给出了的众多的RDD：RDD中的操作分为transformations和actions两种：下面举一个例子来说明RDD的使用：另外有两个特殊的RDD:他们都是controllingop...
分类：
其他好文 时间：
2014-12-26 14:25:08
阅读次数：
116
三，深入RDD RDD本身是一个抽象类，具有很多具体的实现子类：RDD都会基于Partition进行计算：默认的Partitioner如下所示：其中HashPartitioner的文档说明如下：另外一种常用的Partitioner是RangePartitioner：RDD在持久化的需要考虑内存策略：...
分类：
其他好文 时间：
2014-12-26 14:21:43
阅读次数：
183
一、以RDD为基石的Spark编程模型 在Spark中一切都是基于RDD的：什么是RDD呢？官方给出的解释是：也就是说每个RDD都至少有以下三个函数实现:Spark自带了非常多的RDD:RDD主要分为两种：其中的transformations是lazyexecution的，需要具体的action去触...
分类：
其他好文 时间：
2014-12-26 14:20:16
阅读次数：
177
一、到底什么是Spark？Spark是一个通用的大数据计算平台，基于“OneStacktorulethemall”的理念成功成为了一体化多元化的大数据处理平台，轻松应对大数据处理中的实时流计算、SQL交互式查询、机器学习和图计算等：Spark源于BDAS:基于该技术堆栈，Spark目前已经成为大数据...
分类：
其他好文 时间：
2014-12-26 14:16:41
阅读次数：
149
1、MapReduce理论简介1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoo.....
分类：
其他好文 时间：
2014-12-23 22:27:03
阅读次数：
151
课程下载地址：链接:http://pan.baidu.com/s/1kTggcb9密码:9mfn网盘失效的话，请加QQ：3113533060课程内容：第一周Spark生态系统概述与编程模型Spark生态系统概述回顾HadoopMapReduceSpark运行模式RDDSpark运行时模型简介缓存策略介绍transformationactionlineage容错处理宽依..
分类：
其他好文 时间：
2014-12-23 17:46:36
阅读次数：
196
课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-23 06:40:31
阅读次数：
216
课程介绍2014年5月30日发布了Spark1.0.0版本，而本课程是世界上第一个Spark1.0.0企业级实践课程，课程包含Spark的架构设计、Spark编程模型、Spark内核框架源码剖析、Spark的广播变量与累加器、Shark的原理和使用、Spark的机器学习、Spark的图计算Graph...
分类：
其他好文 时间：
2014-12-23 06:40:01
阅读次数：
244
课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-20 02:09:20
阅读次数：
227
