维基的简介：Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。Paxos算法目前在Google的Chubby、MegaStore、Spanner等系统中得到了应用，Ha...
分类：
其他好文 时间：
2014-08-17 18:29:12
阅读次数：
260
HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
Hostname
IP
Hadoop版本
Hadoop
功能
系统
hadoop2
192.168.119.131
2.2.0
namenode
jdk1.6+hadoop
centos5.9
h2slave1
192.168.119...
分类：
其他好文 时间：
2014-08-17 14:21:32
阅读次数：
257
这学期选了门模式识别的课。发现最常见的一种情况就是，书上写的老师ppt上写的都看不懂，然后绕了一大圈去自己查资料理解，回头看看发现，Ah-ha，原来本质的原理那么简单，自己一開始仅仅只是被那些看似formidable的细节吓到了。所以在这里把自己所学的一些点记录下来，供备忘，也供參考。1. K-Ne...
分类：
其他好文 时间：
2014-08-17 10:24:32
阅读次数：
285
HDFS可靠性冗余副本策略机架策略心跳机制安全模式校验和回收站元数据保护在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对应关系的清单叫做块报告，会汇报给NameNodeHadoop机架感知集群中各个节点之间会相互传递信息包心跳机制nameNode周期性从dat..
分类：
其他好文 时间：
2014-08-16 17:15:21
阅读次数：
317
简介
文件浏览系统（ViewFs）提供了一个管理多个Hadoop文件系统命名空间（或者叫Namespace Volume）的方式。它对于有多个NameNode的联邦集群特别有用。ViewFs与Unix/Linux系统中client side mount tables类似。ViewFs可被用来创建个人命名空间视图，也可以每个集群一个公共的试图。
本指南描述了，在有多个集群的Hadoop系统中，每...
分类：
其他好文 时间：
2014-08-15 09:34:27
阅读次数：
286
OpenStackRabbitMQ集群管理手册目录第1章引言...11.1目的...11.2说明...11.3MQ..11.4概念...11.5MQ特点...21.6工作流程...21.7系统环境...3第2章RabbitMQ部署...42.1系统环境基本配置...42.2RabbitMA配置...42.3RabbitMQ集群配置...6第3章RabbitMQ集群验证...93.1Nova配置MQHA...
分类：
其他好文 时间：
2014-08-15 02:46:27
阅读次数：
459
Corosync+Pacemaker+iscsi+Httpd实现web服务的高可用一、软件介绍Corosync实现的是membership和可靠组通信协议Pacemaker则基于Corosync/Linux-HA实现服务的管理Corosync包括如下组件： Totemprotocol EVS CPG CFG QuorumExtendedVirtualSynchrony算法(EVS)提供两个功能： 组成..
分类：
Web程序 时间：
2014-08-14 21:06:10
阅读次数：
502
HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
HDFS联邦
本指南提供了一个HDFS联邦特性的综述，以及如何配置和管理联邦的集群。
背景
HDFS有两个主要的层次：
1. Namespace
a) 包含很多的目录，文件和block
b) 他提供所有的文件系统操作像创建，删除，修改该和list文件和目录的命名空间
2. Block Storage Service有两个部分
a)...
分类：
其他好文 时间：
2014-08-13 14:59:36
阅读次数：
245
