最近我在做流式实时分布式计算系统的架构设计，而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛，要拿出一些自己的干货出来，仅仅是源码分析貌似分量不够。因此，我将最近一直在做的系统架构的思路整理出来，形成此文。为什么要参考Storm和Spark，因为没有参照效果可能不会太好，尤其是对于Storm和Spark由了解的同学来说，可能通过对比，更能体会到每个具体实现背后的意义。
本文对流式系统出现的背景，特点，数据HA，服务HA，节点间和计算逻辑间的消息传递，存储模型，...
分类：
其他好文 时间：
2014-08-02 18:25:23
阅读次数：
489
HDFS2.0之HA主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个Name...
分类：
其他好文 时间：
2014-08-02 17:53:53
阅读次数：
383
作为个人学习笔记分享，有任何问题欢迎交流!
Fuel HA组成
OpenStack生产环境推荐使用HA，以避免单点故障，下图为Fuel HA设计图，HA要求有3个控制节点。
1）Pacemaker Cluster ：Pacemaker Cluster 由Pacemaker和Corosync组成，Pacemaker是一个集群资源管理器。它利用你喜欢的集群基础构件（O...
分类：
其他好文 时间：
2014-08-02 12:49:53
阅读次数：
373
Web Maximize Compression with Zopfli Browser Detection with JavaScript Simple MySQL Master HA with mysqlnd_ms 8 ways to improve ASP.NET Web API perfor...
分类：
其他好文 时间：
2014-08-01 22:31:12
阅读次数：
291
在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能，本文在前文的基础上介绍hadoop 2.2.0HA的配置。
说明：
下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node，namenode2为standby na...
分类：
其他好文 时间：
2014-08-01 19:48:22
阅读次数：
243
操作系统centos6.3，centos6.4，windows server2008R2。 文中的下载链接可能会随着saltstack官网上版本的更新，而出现变动或错误，请以你需要安装的版本链接为准。我写上具体链接是为了近段时间重复操作时方便。 本文中，linux采用EPEL安装，windo...
分类：
其他好文 时间：
2014-08-01 15:41:41
阅读次数：
326
syndic是saltstack用来做集群部署的，一般结构如图：syndic是一个特殊的minion，syndic类继承于minion类，syndic可以看作一个代理，只做数据传递。CentOS上安装master的时候就已经安装了Syndic。设置的时候只需将TopMaster的order_mast...
分类：
其他好文 时间：
2014-08-01 15:39:31
阅读次数：
277
分布式架构是中心化的设计，就是一个主控机连接多个处理节点,因此保证主控机高可用性十分关键.分布式锁是解决该问题的较好方案,多主控机抢一把锁.Zookeeper就是一套分布式锁管理系统,用于高可靠的维护元数据....
分类：
其他好文 时间：
2014-08-01 13:50:51
阅读次数：
230
原文出处:http://blog.coocla.org/301.htmlSalt系统的配置是令人惊讶的简单，对于salt的两个系统都有各自的配置文件，salt-master是通过一个名为master的文件配置，salt-minion是通过一个名为minion的文件配置。salt-master的配置文...
分类：
其他好文 时间：
2014-08-01 12:47:11
阅读次数：
353
1、复制概述1.1、复制解决的问题数据复制技术有以下一些特点：(1) 数据分布(2) 负载平衡(load balancing)(3) 备份(4) 高可用性(high availability)和容错1.2、复制如何工作从高层来看，复制分成三步：(1) master将改变记录到二进制日志(binary...
分类：
数据库 时间：
2014-08-01 04:49:31
阅读次数：
313
