这些年来，在横向扩展方面的优势，加之可靠性的提升，大数据的爆发，这些因素的综合推动下，分布式存储越来越受到关注，产品与厂商也不少。尝试列出一些分布式存储，没有什么先后顺序，更多之自己可能看到和整理的顺序吧。先来看看这家来自保加利亚的分布式存储产品：https://s..
分类：
其他好文 时间：
2014-11-10 15:52:08
阅读次数：
166
http://www.nowamagic.net/librarys/veda/detail/1767Hadoop是什么Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和...
分类：
其他好文 时间：
2014-11-05 10:48:11
阅读次数：
181
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
分类：
其他好文 时间：
2014-11-03 22:27:22
阅读次数：
254
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处理，由于其入门非常简单，但是若想理解其中各个环节及实现细节还是有一定程度的困难，因此我计划在本文中只是挑几个...
分类：
其他好文 时间：
2014-11-03 11:33:05
阅读次数：
265
浅谈大型网站动态应用系统架构动态应用，是相对于网站静态内容而言，是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件，比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系统等密不可分。大型动态应用系统平台主要是针对于大流...
分类：
Web程序 时间：
2014-11-02 20:50:49
阅读次数：
169
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动添?（IP:PORT），数据自己主动实...
分类：
其他好文 时间：
2014-10-22 21:37:03
阅读次数：
190
“兵马未动，粮草先行”，要想深入的了解hadoop，我觉得启动或停止hadoop的脚本是必须要先了解的。说到底，hadoop就是一个分布式存储和计算框架，但是这个分布式环境是如何启动，管理的呢，我就带着大家先从脚本入手吧。说实话，hadoop的启动脚本写的真好，里面考虑的地方非常周全（比如说路径中有...
分类：
其他好文 时间：
2014-10-18 07:33:11
阅读次数：
204
Hadoop分布式文件系统是设计初衷是可靠的存储大数据集，并且使应用程序高带宽的流式处理存储的大数据集。在一个成千个server的大集群中，每个server不仅要管理存储的这些数据，而且可以执行应用程序任务。通过分布式存储和在各个server间交叉运算，集群和存储可以按需动态经济增长。以下的设计原则...
分类：
其他好文 时间：
2014-10-17 06:42:33
阅读次数：
235
概述 ceph是一个Linux PB级别的分布式存储系统，ceph的目标简单地定义为： ????可轻松扩展到PB容量 ????对多种工作负载的高性能（每秒输入/输出操作[IOPS]和带宽） ????高可靠性 与常见的集中式存储不...
分类：
其他好文 时间：
2014-10-15 16:04:42
阅读次数：
310
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。...
分类：
其他好文 时间：
2014-10-15 12:01:40
阅读次数：
199
