RDD是Spark最基本，也是最根本的数据抽象。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf 是关于RDD的论文。如果觉得英文阅读太费时间，可以看这篇译文：http://shiyanjun.cn/archives/744.html
本文也是基于这篇论文和源码，分析RDD的实现。
第一个问题，RDD是什么？Resilient Distributed Datasets（RDD，） 弹性分布式数据集。RDD是只读的、分区记录的集合。RD...
分类：
其他好文 时间：
2014-10-07 18:59:34
阅读次数：
331
在动态网络下实现分布式共享存储http://cacm.acm.org/magazines/2014/6/175173-implementing-distributed-shared-memory-for-dynamic-networks译者序 共享内存系统是普通单机程序开发者熟悉的开发范式，通过简单...
分类：
其他好文 时间：
2014-10-03 14:06:44
阅读次数：
291
zookeeper一般用于distributed locking，并不适合用于distributed storage，因为zookeeper的每个node，也叫做znode的存储容量限制是1M。
zookeeper里的角色主要有client，leader和learner，其中learner也包括observer和follower。
client为请求的发起方，follower为...
分类：
其他好文 时间：
2014-10-03 12:25:44
阅读次数：
357
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以.....
分类：
其他好文 时间：
2014-10-01 17:33:51
阅读次数：
456
Intro
版本控制系统是什么
版本控制系统(Version Control System,VCS)可以帮助我们记录和跟踪项目中各文件内容的修改变化。它可以帮我们保存项目的各个版本，以及修改原因，我们可以借用此工具回到项目曾经的某个状态。除此之外，版本控制系统也是帮助人员进行协作开发的利器。
Git是什么
Git是一个分布式版本控制系统(Distributed Vers...
分类：
其他好文 时间：
2014-09-29 21:08:41
阅读次数：
164
Getting Started ? 入门 1.1 Introduction ? 简介 ?? Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, ?but with a unique d...
分类：
其他好文 时间：
2014-09-28 20:10:56
阅读次数：
450
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用....
分类：
其他好文 时间：
2014-09-28 14:04:02
阅读次数：
309
java语言的11个特性： java语言是一种简单的(Simple)，面向对象的(Object-Oriented),分布式的(Distributed)，解释性的(interpreted)，健壮的(Robust)，安全的(Secure)，结构中立的(Architecture-neutral)，可移植...
分类：
编程语言 时间：
2014-09-25 14:35:39
阅读次数：
253
http://bbs.gameres.com/forum.php?mod=viewthread&tid=219654package distributed这个包中主要封装了各个服务进程间进行通信的方法。node子节点域root根节点进程中的接口调用返回的都是延迟对象。关于延迟对象的使用，详剑twis...
Akka和VertX都是scala写大数据框架的极其赞的technology
Akka是用来写高concurrent，distributed，和fault tolerant event-driven的一个工具箱/库
而vertx是一个具有类似功能的framework
他们背后的general idea是很相近的，不同点在于：
In Akka you would create...
分类：
其他好文 时间：
2014-09-21 11:53:30
阅读次数：
1618
