1、Hadoop生态系统 2、HDFS（Hadoop分布式文件系统） 源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。 是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，...
分类：
其他好文 时间：
2015-01-21 14:49:42
阅读次数：
10752
MogileFS与FastDFS的个人见解六月 9, 20131 条评论MogileFS & FastDFS 为两个开源分布式文件系统，都主要适用于互联网文件共享，上传，下载等功能，主要用于多上传和下载，不经常修改的操作。M和F部署架构都比较类似，设计中都避免的cluster中某一个环节的单点问题。...
分类：
其他好文 时间：
2015-01-21 14:44:52
阅读次数：
266
轻量级分布式文件系统FastDFS使用安装说明手册（新手入门级）实验室所在的课题组以研究云计算为主，但所有的研究都是在基于理论的凭空想像，缺少分布式环境的平台的实践，云计算神马的都是浮云了。因此，我想借助Hadoop把实验室的服务器搭建出一个基础的分布式实验环境，方便于以后进行实验测试神马的。无意中...
分类：
其他好文 时间：
2015-01-21 14:41:40
阅读次数：
214
HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。
对分HDFS中的文件操作主要涉及一下几个类：
Configuration类：该类的对象封转了客户端或者服务器的配置。
FileSystem类：该类的对象是一个文件系统对象，可以用该对象的一些方法来对...
分类：
编程语言 时间：
2015-01-16 16:40:38
阅读次数：
353
一MFS介绍：DistinctivefeaturesofMooseFSare:MooseFS优越特性如下：-higherreliability(datacanbestoredinseveralcopiesonseparatecomputers)高可用性(数据可以存储在多个机器上的多个副本)-dynamicallyexpandingdiskspacebyattachingnewcomputers/disks可动态扩展随时新增加..
分类：
其他好文 时间：
2015-01-14 18:25:50
阅读次数：
236
1、存储节点
在分布式文件系统中，所有的文件都存储在存储节点（Storage Node）中。一个存储节点一般对应屋里磁盘的一个实际目录。我们用多台服务器创建多个存储节点，文件就会在这些存储节点之间根据规则进行自动复制。另外，我们也可以在同一台物理机上创建多个存储节点，指向不同的磁盘空间，实现了一定程度的冗余备份，和RAID机制有点类似。
2、追踪器
追踪器负责客户端和存储节点之...
分类：
其他好文 时间：
2015-01-14 14:23:55
阅读次数：
135
1、为什么分布式文件系统要采用特定的组织结构来存储文件？
直接按照文件的原始路径进行存储和复制，这样就可以直接通过应用服务进行静态化访问，从而大幅度提升性能。怎么样，这个主意不错吧？
等等，我们好像又绕回去了…..
这样的一个系统，大概是一个共享文件系统?或者是一个文件分发系统。
如果只是共享文件系统，文件太多了怎么办？文件访问压力太大了怎么办？文件丢失了怎么办...
分类：
其他好文 时间：
2015-01-14 14:21:24
阅读次数：
284
1、故事的起源
时间过的很快，距离上一次项目的大规模升级和调整虽然已经过去了几年，但是总感觉就发生在昨天，但是系统已经再次需要进行扩展。数据规模的扩大化，运行条件的复杂化，运维保障体系的升级化，原来有不少内容都需要调整，使用一种合适的分布式文件系统已经进入我们的视野。
在网上找了一些资料，也请了一些业内的专家座谈和调研，我们最终选择的是分布式文件系统是Hadoop，顺便也把一些其他的调研的系统...
分类：
其他好文 时间：
2015-01-13 10:39:48
阅读次数：
1035
1、故事的起源
还是很多很多年前，做过一个小系统，是一个和支付相关的小系统。因为是一个小系统，所以一切都那么简单。一台应用服务器，一台数据库服务器；文件、图片都放在应用服务器上，一切都是那么的平淡，一切都是那么的理所当然。
突然有一天，支付成为一个时髦的话题；突然有一天，这个平台居然要孕育成为一个新的支付公司的核心系统；于是，系统的访问就要暴涨了。这一切都很突然……
2、调整后的系统简易架构...
分类：
其他好文 时间：
2015-01-13 09:00:24
阅读次数：
136
接着上篇博文，上篇博文是讲如何部署MooseFS的，部署完毕之后就要涉及到后续的使用了。在使用过程中，肯定会遇到一些故障和性能瓶颈。此时，我们就需要去操心MooseFS的管理、维护和优化工作了。本篇就围绕上面提到的三个方面，介绍MooseFS更深入的一些知识。一、高级功能1、副..
分类：
其他好文 时间：
2015-01-13 01:35:46
阅读次数：
298
