一、问题描述由于namenode 是HDFS的大脑，而这个大脑又是单点，如果大脑出现故障，则整个分布式存储系统就瘫痪了。HA（High Available）机制就是用来解决这样一个问题的。碰到这么个问题，首先本能的想到的就是冗余备份，备份的方式有很多种，前辈们设计的有元数据备份方案，secondar...
分类：
其他好文 时间：
2015-03-11 00:35:32
阅读次数：
211
http://blog.163.com/sun_jian_zhang/blog/static/1878040412012512112347454/海量图片的分布式存储及负载均衡研究2012-06-12 11:23:47|分类：默认分类|举报|字号订阅前言针对海量图片给网站带来的访问速度下降、性能压力...
分类：
其他好文 时间：
2015-03-04 22:22:13
阅读次数：
169
Hadoop是适合大数据的分布式存储与计算平台 HDFS的架构：主从式结构 主节点只有一个NameNode，从节点可以有很多个DataNode。 NameNode负责： (1)接收用户操作请求 (2)维护文件系统的目录结构 (3)管理文件与block之间关系，block与DataNode之间联系 D...
分类：
其他好文 时间：
2015-03-04 16:19:21
阅读次数：
140
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HB...
分类：
数据库 时间：
2015-03-03 15:05:05
阅读次数：
225
谷歌技术"三宝"之BigTable2006年的OSDI有两篇google的论文，分别是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。相当多...
分类：
其他好文 时间：
2015-02-12 13:51:17
阅读次数：
368
《FastDFS分布式存储实战》一、技术选型二、FastDFS相关组件及原理FastDFS介绍FastDFS架构FastDFS工作流程上传同步机制下载文件合并原理三、实验环境说明四、FastDFS部署初始化系统安装libfastcommon和fastdfsstorageserver安装nginx配置mod_fastdfs.conf配置下载网关tracker和..
分类：
其他好文 时间：
2015-02-09 16:19:33
阅读次数：
115
最近几天，一直在学习nginx在windows平台下的使用，为了寻找几种大量图片分布式存储而且有相对简单的存储方案 nginx是一种，还找到一种MongoDB GridFS 这两种方案我还是比较中意的，经过今天的奋斗，终于将nginx做图片分布式存储这个方案的搭建环境建立起来了，GridFS在后续....
学习笔记：王家林老师的hadoop课程链接：http://edu.51cto.com/course/course_id-1151.htmlHadoop---适合海量数据的分布式存储与计算平台存储与计算平台：Hadoop是一个平台，在这个平台上可以实现存储与计算分布式：单虚拟机程序变为多虚拟机程序，也就是我的一个计算任务可以..
分类：
其他好文 时间：
2015-01-31 02:03:51
阅读次数：
218
