「后端分布式系列」前面关于 HDFS 的一些文章介绍了它的整体架构和一些关键部件的设计实现要点。
我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的。
然后呢，我就去把 GFS 的原始论文找出来仔细看了遍，GFS 的整体架构图如下：
HDFS 参照了它所以大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Mast...
分类：
其他好文 时间：
2015-10-14 00:26:38
阅读次数：
191
没有取之不尽，用之不竭的资源。server有限的带宽。运营商可以限制一点点。近期使用云存储openstack swift待办事项文件存储下载。如果第一个限速code：private Long writeResponse(HttpServletResponse response,InputStream...
分类：
编程语言 时间：
2015-10-13 15:14:02
阅读次数：
189
1.大数据对分布式存储的需求存储容量（>100PB）高吞吐量（1PB sort < 2小时 350GB/每秒的吞吐量）高可靠性（8个9）服务高可靠性（99.95%时间可用）运维简单成本低，廉价pc服务器，数据压缩，混合存储。2.大规模分布式存储系统的挑战 大规模分布式存储中小概率事件变为常态，如何高...
分类：
其他好文 时间：
2015-10-01 16:22:47
阅读次数：
1753
一、MogileFS简要说明1、相关概念介绍MogileFS是一个开源的分布式文件存储系统，MogileFS适用于存储海量小文件的工作场景，由LiveJournal旗下的DangaInteractive公司开发，该团队开发了包括Memcached、MogileFS、Perlbal等多个知名的开源项目。tracker节点：借助数据库保存各节..
分类：
其他好文 时间：
2015-10-01 01:46:16
阅读次数：
445
hadoophadoop是什么？hadoop是一个平台，是一个适合大数据的分布式存储和计算的平台。什么是分布式存储？这就是后边我们要讲的hadoop核心之一HDFS什么是分布式计算？这是我们后边要讲的hadoop另外一个重要的核心MapReduce。
分类：
其他好文 时间：
2015-09-30 12:52:42
阅读次数：
118
【ZooKeeper】服务注册、服务发现、客户端负载均衡、Offset偏移量分布式存储。kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）...
分类：
其他好文 时间：
2015-09-30 06:20:11
阅读次数：
247
一、常见的分布式存储系统目前我们使用的分布式存储方面的应用均是有google的几篇论文演化出来的，下面就是这几篇论文所出现的架构：GoogleFileSystem（大规模分散文件系统）：用于分布式存储MapReduce（大规模分散FrameWork）：用于分布式计算BigTable（大规模分散数据库）：..
分类：
其他好文 时间：
2015-09-30 01:08:37
阅读次数：
294
一、大数据1、什么是大数据大数据是指无法在一定时间内用常规软件工具对其内容进行抓娶管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布..
分类：
其他好文 时间：
2015-09-30 01:06:59
阅读次数：
309
本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成：（1）安装和部署（2）Ceph RBD 接口和工具（3）Ceph 与 OpenStack 集成的实现（4）TBD Ceph 作为一个统一的分布式存储，其一大特色是提供了丰富的编程接口。我们来看看下面这张经典的图：其中，l...
动态应用，是相对于网站静态内容而言，是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件，比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系...
分类：
其他好文 时间：
2015-09-12 08:32:55
阅读次数：
164
