一、HDFS介绍1.1 背景随着数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。学术一点的定义就是：分布式文件系统是一种允许文件通过网络在多台主机上分享的文件 的系统，可...
分类：
其他好文 时间：
2015-04-27 14:53:29
阅读次数：
158
在上一篇文章中gluster xlator的设计中，讲到通过手动修改volfile来添加相应的xlator功能，但是实际上的需求是工程在建立好之后可以在创建卷的过程中自动在volfile中生成相应的xlator，本文将探讨这个问题。
一、volfile简介
二、自动生成volfile添加内容...
分类：
其他好文 时间：
2015-04-24 19:12:07
阅读次数：
304
复制策略是hadoop文件系统最核心的部分，对读写性能影响很大，hadoop和其它分布式文件系统的最大区别就是可以调整冗余数据的位置，这个特性需要很多时间去优化和调整。
一、数据存放
目前hadoop采用以机柜为基础的数据存放策略，这样做的目的是提高数据可靠性和充分利用网络带宽。当前具体实现了的策略只是这个方向的尝试，hadoop短期的研究目标之一就是在实际产品环境中观察系统读写的行为，...
分类：
其他好文 时间：
2015-04-24 16:23:59
阅读次数：
241
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访...
分类：
其他好文 时间：
2015-04-20 00:17:10
阅读次数：
218
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thro...
分类：
其他好文 时间：
2015-04-19 18:00:31
阅读次数：
108
1、Nginx的FastDFS模块什么作用？我们在使用FastDFS部署一个分布式文件系统的时候，通过FastDFS的客户端API来进行文件的上传、下载、删除等操作。同时通过 FastDFS的HTTP服务器来提供HTTP服务。但是FastDFS的HTTP服务较为简单，无法提供负载均衡等高性能的服务，...
本文来自 诗商·柳惊鸿 Poechant CSDN博客，转载请注明源地址：FastDFS的配置、部署与API使用解读（2）上传文件到FastDFS分布式文件系统的客户端代码在阅读本文之前，请您先通过《FastDFS的配置、部署与API使用解读（1）Get Started with FastDFS》一...
概念 HDFS是Hadoop Distribute File System 的简称，也就是Hadoop分布式文件系统。 设计理念 1、硬件错误是常态 错误检测并快速自动恢复是HDFS的最核心设计目标 2、存储超大文件 HDFS适合大量存储，总存储量可以达...
分类：
其他好文 时间：
2015-04-19 01:14:37
阅读次数：
165
在生产中我们一般希望文件系统能帮我们解决以下问题，如：1.超大数据存储；2.数据高可用（冗余备份）；3.读/写高性能；4.海量数据计算。最好还得支持多平台多语言，支持高并发。 由于单台服务器无法满足以上要求，...
分类：
其他好文 时间：
2015-04-18 11:39:52
阅读次数：
128
引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数...
分类：
其他好文 时间：
2015-04-13 22:25:32
阅读次数：
171
