HadoopCDH5.0.1分布式系统，包括NameNode，ResourceMangerHA，忽略了WebApplicationProxy和JobHistoryServer。一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本..
分类：
其他好文 时间：
2014-12-03 07:09:21
阅读次数：
213
下面我们来看下开源dubbo推荐的业界成熟的zookeeper做为注册中心， zookeeper是hadoop的一个子项目是分布式系统的可靠协调者，他提供了配置维护，名字服务，分布式同步等服务。对于zookeeper的原理本文档不分析，后面有时间在做专题。
zookeeper注册中心
Zookeeper对数据存储类似linux的目录结构，下面给出官方文档对dubbo注册数据的存储示例...
分类：
其他好文 时间：
2014-12-02 22:40:30
阅读次数：
346
首先简单介绍一下Dremel是什么，能解决什么问题。第二部分着重讲Dremel的数据模型，即数据结构。第三部分将谈一下在此数据结构上设计的算法。1 起源Dremel的数据模型起源于分布式系统的应用环境(Protocol Buffers，一种在Google内广泛使用，现已开源的实现)。其数据模型是基于强类型的嵌套记录，抽象语法可以表示成下面公式：一个例子：2 嵌套列式存储2.1 记录结构的无损表示首...
分类：
其他好文 时间：
2014-11-30 23:27:45
阅读次数：
1374
作为典型的分布式系统，Hadoop中各个实体间存在着大量的交互，远程过程调用让用户可以像调用本地方法一样调用另外一个应用程序提供的服务，而不必设计和开发相关的信息发送、处理和接收等具体代码，是一种重要的分布式计算技术，它提高了程序的互操作性，在Hadoop的实现中得到..
分类：
其他好文 时间：
2014-11-30 17:21:33
阅读次数：
166
作为典型的分布式系统，Hadoop中各个实体间存在着大量的交互，远程过程调用让用户可以像调用本地方法一样调用另外一个应用程序提供的服务，而不必设计和开发相关的信息发送、处理和接收等具体代码，是一种重要的分布式计算技术，它提高了程序的互操作性，在Hadoop的实现中得到..
分类：
其他好文 时间：
2014-11-30 17:21:27
阅读次数：
150
为了提高系统的可用性实现系统7*24小时运行的目标，我们的项目搭建了一个mysql集群来增加系统的可靠性，下面说一下项目中mysql集群的搭建过程。
先谈谈对于搭建各种集群、分布式、负载均衡的理解，一个高可用、高性能、伸缩性强的分布式系统并不是一蹴而就，一下搭出这样的架构也有点不可能，至少个人觉得对于系统的运行状况没有一个可靠地保证，你不能保证架构中不会出现什么纰漏之处，因此架...
分类：
数据库 时间：
2014-11-29 16:04:08
阅读次数：
231
zabbix编辑zabbix（音同 zæbix）是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix serve...
分类：
其他好文 时间：
2014-11-27 20:21:26
阅读次数：
293
一、概念Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。二、适用场合1.分布式应用。由于memcached本身基于分布式的系统，所以尤其适合大型的分布式系统。2.数据库前段缓存。数据库常常是网站...
分类：
系统相关 时间：
2014-11-27 06:47:23
阅读次数：
442
网络参考资料https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/http://agapple.iteye.com/blog/1111377http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.htmlZookeeperGoogleChubby的开源实现用于协调分布式系统上的各种服务,例如确认消息是否准确到达..
分类：
其他好文 时间：
2014-11-26 06:46:20
阅读次数：
155
一致性哈希算法，当我第一次听到这个名字的时候，感觉特别高深。而它往往会和分布式系统相关，准确的说，是分布式缓存。在Web服务中，缓存是介于数据库和服务端程序之间的一个东西。在网站的业务还不是很大的时候，一般不会需要这个东西，每次都可以从数据库中查询获得数据，但是随着网站的访问量增大，每次请求都访问数...
分类：
编程语言 时间：
2014-11-23 17:20:05
阅读次数：
233
