Storage模块负责了Spark计算过程中所有的存储，包括基于Disk的和基于Memory的。用户在实际编程中，面对的是RDD，可以将RDD的数据通过调用org.apache.spark.rdd.RDD#cache将数据持久化；持久化的动作都是由Storage模块完成的。包括Shuffle过程中的数据，也都是由Storage模块管理的。可以说，RDD实现了用户的逻辑，而Storage则管理了用户...
分类：
其他好文 时间：
2015-01-18 19:47:34
阅读次数：
226
通过上面的架构和源码实现的分析，不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此，在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义，由于这些参数的确是非常重要，这里算是做一个详细的总结。1.1.1 spark.shuffle.manager前文也多次提到过，Spark1.2.0官方支持两种方式的Shuf...
分类：
其他好文 时间：
2015-01-18 19:46:55
阅读次数：
1000
1. B/S网络架构概述
当一个用户在浏览器里输入www.csdn.net这个URL时，将会发生很多操作。首先，它会请求DNS把这个域名解析成对应的IP地址，然后根据这个IP地址在互联网上找到对应的服务器，想这个服务器发起一个get请求，由这个服务器决定返回默认的数据资源给访问的用户。在服务器端实际上还有很多复杂的业务逻辑；服务器可能有很多台，到底指定哪台服务器来处理请求，这需要一个负载均...
分类：
编程语言 时间：
2015-01-15 20:25:17
阅读次数：
181
Linux用户不了解一点开源硬件制造相关的事情，他们就会经常陷入失望的情绪中。商业软件和免费软件已经互相纠缠很多年了，但是这俩经常误解对方。这并不奇怪 -- 对一方来说是生意，而另一方只是一种生活方式。但是，这种误解会给人带来痛苦，这也是为什么值得花精力去揭露这里面的内幕。一个逐渐普遍的现象：对开源...
分类：
系统相关 时间：
2015-01-15 10:53:31
阅读次数：
195
jQuery技术内幕 深入解析jQuery架构设计与实现原理 PDF电子书带目录 高清版JavaScript框架设计 现代魔法指南 PDF电子书带目录 高清版网络上的都是预览版，这是自制的，如有需要请联系qq：106772829210元一本，已然是最低价不讲价。
分类：
编程语言 时间：
2015-01-13 11:51:05
阅读次数：
1542
本文详细讲解Shuffle Read的整个过程，包括如何获得Block的元数据信息，进行网络，本地读取。通过一个整体的流程架构图，详细大家可以对整个过程有一个更加深刻的把握...
分类：
其他好文 时间：
2015-01-12 09:19:08
阅读次数：
197
Shuffle Map Task运算结果的处理这个结果的处理，分为两部分，一个是在Executor端是如何直接处理Task的结果的；还有就是Driver端，如果在接到Task运行结束的消息时，如何对Shuffle Write的结果进行处理，从而在调度下游的Task时，下游的Task可以得到其需要的数据。Executor端的处理在解析BasicShuffle Writer时，我们知道ShuffleM...
分类：
其他好文 时间：
2015-01-12 08:09:30
阅读次数：
205
警告：因为还没有对数据进行分组，所以在WHERE子句不能使用聚合，例如 不能使用 WHERE, orderdate=MAX(orderdate). 也不能引用SELECT 列表中创建的别名，因为 SELECT列表这是还未被处理。HAVING筛选器是唯一用足分组数据的筛选器；
分类：
其他好文 时间：
2015-01-11 22:50:47
阅读次数：
228
在Spark 0.6和0.7时，Shuffle的结果都需要先存储到内存中（有可能要写入磁盘），因此对于大数据量的情况下，发生GC和OOM的概率非常大。因此在Spark 0.8的时候，Shuffle的每个record都会直接写入磁盘。一直到1.2.0，Shuffle的数据是一定会写入本地文件系统的，那么对于性能要求非常苛刻的用户，如何获得更好的性能呢？...
分类：
其他好文 时间：
2015-01-11 16:18:22
阅读次数：
149
通过Hash Based Shuffle和Sort Based Shuffle的源码，可以得出使用Spark Pluggable框架开发一个第三方的Shuffle Service是比较容易的；这个容易是指功能实现方面。但是这个实现必须要考虑超大规模数据场景下的性能问题，资源消耗问题。...
分类：
其他好文 时间：
2015-01-08 08:19:06
阅读次数：
273
