kafka概念：
kafka是一个高吞吐量的流式分布式消息系统，用来处理活动流数据，比如网页的访问量pm,日志等，既能够实时处理大数据信息
也能离线处理。
特点：
1.高吞吐量
2.是一种显式的分布式系统，它假设，数据生产者（producer）,代理（brokers）和数据使用者（consum...
分类：
其他好文 时间：
2014-09-29 20:09:12
阅读次数：
196
问题导读：1.master挂机，传统做法备份必然是以前数据，该如何保证挂机数据与备份数据一致？2.分布式系统如何实现对同一资源的访问，保证数据的强一致性？3.集群中的worker挂了，传统做法是什么？zookeeper又是如何做的？分布式系统的运行是很复杂的，因为涉及到了网络通信还有节点失效等不可控...
分类：
其他好文 时间：
2014-09-29 10:49:50
阅读次数：
133
Spark概述
当前，MapReduce编程模型已经成为主流的分布式编程模型，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷，如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年，社区出现了优化改进M...
分类：
其他好文 时间：
2014-09-27 18:23:00
阅读次数：
573
定义在一个包含了若干Erlang节点的分布式系统中，可能需要以分布的方法来控制应用。如果某个节点——上面运行了某个应用——挂了，应用要在另一个节点上被重启。这样一个应用被称之为一个分布式应用。注意是对于应用的控制是分布的，所有应用当然都可以是分布——比如，使用其它节点上的服务。因为一个分布式应用可能...
分类：
其他好文 时间：
2014-09-27 15:25:39
阅读次数：
250
Web分布式系统设计准则下面以一个上传和查询图片的例子来说明分布式web结构的设计考虑和常用的提高性能的方法。该例子提供上传图片和下载图片两个简单功能，并且有一下假设条件？：- 可以存储无上限数量的图片，即存储需要scalability- 下载图片提供低带宽延时，即速度要快- 如果客户上传了一张图片...
分类：
Web程序 时间：
2014-09-24 14:28:07
阅读次数：
229
RPC分布式计算
目录(?)[+]
RPC 是什么RPC 起源RPC 结构RPC 实现总结
近几年的项目中，服务化和微服务化渐渐成为中大型分布式系统架构的主流方式，而 RPC 在其中扮演着关键的作用。在平时的日常开发中我们都在隐式或显式的使用 RPC，一些刚入行的程序员会感觉 RPC 比较神秘，而一些有多年使用 RPC 经验的程序员虽然使用经验丰富，但有些对其原理也不...
分类：
其他好文 时间：
2014-09-23 12:21:04
阅读次数：
167
本文希望对分布式系统的一致性问题做一个综合性介绍，奈何笔轻心重，语无伦次。感谢eric的敦促，感谢shuai的感召，我尝试总结一下。这个草稿堆积了一段时间了，大家提点意见，我再更新。谢谢！...
分类：
其他好文 时间：
2014-09-22 20:34:43
阅读次数：
466
近几年的项目中，服务化和微服务化渐渐成为中大型分布式系统架构的主流方式，而 RPC 在其中扮演着关键的作用。 在平时的日常开发中我们都在隐式或显式的使用 RPC，一些刚入行的程序员会感觉 RPC 比较神秘，而一些有多年使用 RPC 经验的程序员虽然使用经验丰富，但有些对其原理也不甚了了。 缺乏对原理层面的理解，往往也会造成开发中的一些误用。
本文分上下两篇《浅出篇》和《深入篇》，其目标就是想尝试...
分类：
其他好文 时间：
2014-09-22 13:52:02
阅读次数：
243
A. Practical Byzantine Fault Tolerance
1.What’s its checkpoint?
We will refer to the states produced by the execution of these requests as checkpoints and we will say that a checkpoint with...
分类：
其他好文 时间：
2014-09-21 10:34:30
阅读次数：
283
应一个朋友的承诺，整理一下当前业界存在的几种优秀的分布式系统。特别对淘宝的后台系统做了一些分析，看看在未来的几年，symantec能够在未来的云计算，云存储的浪潮中，机会点在哪里? 当然,这里主要指的是技术切入点. 一 眼下业界存在的几种分布式系统 Comp...
分类：
其他好文 时间：
2014-09-20 23:51:59
阅读次数：
343
