问题#cmcheckconf-v-C/etc/cmcluster/cmclconfig.asciiBeginclusterverification...Checkingclusterfile:/etc/cmcluster/cmclconfig.asciiDefaultingMAX_CONFIGURE...
分类：
其他好文 时间：
2014-08-18 16:13:12
阅读次数：
220
一个豁达的关键是正确乐观的面对失败的系统。不需要过多的担心，需要一种去说那又怎样的能力。因此架构的设计是如此的重要。许多优秀的系统没有进一步成长的能力，我们应该做的是去使用其他的系统去共同分担工作。Redis是其中一个吸引我的系统，一个持久性的，键值对 存储内存操作高性能的平台。他是一个优秀的键值对...
分类：
其他好文 时间：
2014-08-18 16:07:52
阅读次数：
257
摘要 Hadoop分布式文件系统（HDFS）设计用来可靠的存储超大数据集，同时以高速带宽将数据集传输给用户应用。 在一个超大集群中，数以千计的服务器直接接触存储器和执行用户应用任务。通过许多服务器的分布式存储和...
分类：
其他好文 时间：
2014-08-18 12:43:04
阅读次数：
356
概述可使用单个数据服务器作为分片，也可使用复制集作为分片。复制集为具有自动故障恢复功能的主从集群，并且其主从角色可自动变更。每个复制集包括3种角色：主服务器、从服务器、仲裁服务器部署图部署过程Shard1（为1个复制集）Shard2（为1个复制集）ConfigServerConfigAConfigB...
分类：
其他好文 时间：
2014-08-18 12:19:34
阅读次数：
162
??本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。设计要点:性能提高性能的方法就是并行，讲一个任务分解成多个任务，同一时候运行。GFS中的思路是将文件分块,每一个块是一个chunk,每一个chunk单独保存，保存chu...
分类：
其他好文 时间：
2014-08-17 18:22:42
阅读次数：
293
HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
本文转载：http://www.cnblogs.com/olartan/archive/2009/12/02/1615131.html第1章 引言数据量巨大时，首先把多表分算到不同的DB中，然后把数据根据关键列，分布到不同的数据库中。库分布以后，系统的查询，io等操作都可以有多个机器组成的群组共同完...
分类：
数据库 时间：
2014-08-17 10:23:02
阅读次数：
319
上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下任务提交过程。MapReduce集群包含一个JobTracker和多个TaskTracker，这里先不考虑YARN，仍然依据1版本进行分析。一个MapReduce...
分类：
其他好文 时间：
2014-08-17 02:20:01
阅读次数：
320
