http://www.artima.com/scalazine/articles/pattern_matching.html这篇文章是odersky谈scala中的模式匹配的一段对话，我做了部分片段翻译(不是连贯的):模式可以嵌套，就像表达式嵌套，你可以定义深层的模式，通常一个模式看起来就像一个表达...
分类：
其他好文 时间：
2016-01-03 14:47:22
阅读次数：
125
窄依赖 narrow dependencymap,filter,union ,join(co-partitioned)制定了父RDD中的分片具体交给哪个唯一的子RDD并行的，RDD分片是独立的。只依赖相同ID的分片range分片one to dependencyrange dependency内部可...
分类：
其他好文 时间：
2015-12-29 16:08:02
阅读次数：
218
1、RDD 只读的分区数据集合。2、RDD的依赖关系，生成RDD的血统。3、RDD支持基于工作集的运用。可以显性的将数据存储在内存中，可以支持高效数据重用。4、RDD是分布式数据编程的一种抽象5、RDD的特征a list of partitions（hdfs的一个分片就是一个partition，每个...
分类：
其他好文 时间：
2015-12-28 20:14:57
阅读次数：
186
其实对于我们一般理解的计算机内存，它算是CPU与计算机打交道最频繁的区域，所有数据都是先经过硬盘至内存，然后由CPU再从内存中获取数据进行处理，又将数据保存到内存，通过分页或分片技术将内存中的数据再flush至硬盘。那JVM的内存结构到底是如何呢？JVM做为一个运行在操作系统上，但又独立于os运行的...
分类：
其他好文 时间：
2015-12-28 00:51:00
阅读次数：
121
这个过程分为以下 5 个步骤：步骤 1 作业提交与初始化。用户提交作业后，首先由 JobClient 实例将作业相关信 息，比如将程序 jar 包、作业配置文件、分片元信息文件等上传到分布式文件系统（一般为HDFS）上，其中，分片元信息文件记录了每个输入分片的逻辑位置信息。然...
分类：
其他好文 时间：
2015-12-21 23:35:12
阅读次数：
412
mysql cluster是基于ndb存储引擎。 整体分为三大部分，管理节点，存储节点，sql节点。 管理节点用于管理整个集群；存储节点及ndb节点，用来存储数据；sql节点则负责接收客户端的sql请求。 mysql cluster 特性如下性能和扩展能力自动分片数据库自动、透明地分布...
分类：
数据库 时间：
2015-12-16 15:42:32
阅读次数：
232
一、Redis集群 Redis的集群实现是内置数据自动分片机制，集群内部将所有的key映射到16384个Slot中，集群中的每个Redis Instance负责其中的一部分的Slot的读写。集群客户端连接集群中任一Redis Instance即可发送命令，当Redis Instance收到自己不负责...
分类：
其他好文 时间：
2015-12-15 22:47:19
阅读次数：
250
转自：http://blog.csdn.net/androidlushangderen/article/details/41172865Partition的中文意思就是分区，分片的意思，这个阶段也是整个MapReduce过程的第三个阶段，就在Map任务的后面，他的作用就是使key分到通过一定的分区算...
分类：
其他好文 时间：
2015-12-14 01:18:10
阅读次数：
305
在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。1.如何控制实际运行的map任务个数我们知道，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小..
分类：
其他好文 时间：
2015-12-10 09:32:17
阅读次数：
163
