Hadoop下HDFS文件系统在这里我们对Hadoop的基本概念，历史功能就不做过多的阐述，重点在对于他的文件系统做一些了解和阐述。HDFS（Hadoopdistributedfilesystem）是一个分布式文件系统。具有高容错性（fault-tolerant），使得他能够部署在低廉的硬件上。他可以提供高吞吐率来访..
分类：
其他好文 时间：
2014-12-09 02:03:50
阅读次数：
269
1.HDFS的定义与特色以文件为基本存储单位的劣势：难以实现负载均衡——文件大小不同，负载均衡难实现；用户自己控制文件大小； 难以实现并行化处理——只能利用一个节点资源处理一个文件，无法动用集群资源；HDFS的定义：易于扩展的分布式文件系统；运行在大量廉价机器上，提供容错...
分类：
其他好文 时间：
2014-12-08 21:12:24
阅读次数：
268
Hadoop核心项目：HDFS（Hadoop Distributed File System分布式文件系统），MapReduce（并行计算框架）
HDFS架构的主从结构：主节点，只有一个namenode，负责接收用户操作请求，维护文件系统的目录结构，管理文件与block之间关系，block与datanode之间的关系。
从节点，有很多个datanodes，负责存储文件，文件被分成block存储...
分类：
其他好文 时间：
2014-12-08 09:23:22
阅读次数：
231
一、简介
MooseFS(Moose File System，mfs)是一种分布式文件系统，它将数据分布在网络中的不同服务器上，支持FUSE，客户端挂载后可以作为一个 普通的Unix 文件系统使用MooseFS。
MooseFS中共有四种角色：元数据服务器master server、元数据日志服务器metalogger server、存储服务器chunkserver、客户端c...
分类：
其他好文 时间：
2014-12-05 22:46:18
阅读次数：
420
GFS是Google提出的分布式文件系统，它由一个单一的master服务器以及多个chunk文件服务器组成，master服务器主要对命名空间、文件和chunk的映射以及chunk所在服务器的位置进行管理（包括文件的锁管理），chunk服务器主要存储chunk文件，单个chunk文件最大为64M，.....
分类：
其他好文 时间：
2014-12-04 22:51:13
阅读次数：
303
FastDFSV4.06安装部署1.系统环境说明部署环境ubuntu12.0.4server32位or64位，本文以64部署做说明。最小化系统安装，除openssh-server服务外不安装任何服务,我们的client，trackerserver，storageserver用同一台物理机，iP为192.168.0.222．分区设置根据部署的服务要求选择合理..
分类：
其他好文 时间：
2014-12-03 19:39:42
阅读次数：
403
1、Nginx的FastDFS模块什么作用？我们在使用FastDFS部署一个分布式文件系统的时候，通过FastDFS的客户端API来进行文件的上传、下载、删除等操作。同时通过FastDFS的HTTP服务器来提供HTTP服务。但是FastDFS的HTTP服务较为简单，无法提供负载均衡等高性能的服务，所...
Hadoop是一个运行在Linux文件系统上的分布式文件系统，在使用之前需要启动。如何启动？遇到错误又如何分析？...
分类：
其他好文 时间：
2014-12-02 13:32:20
阅读次数：
234
FastDFS安装使用实战三（使用篇）Keywords:FastDFS、分布式文件系统、UbuntuAuthor:soartju转载请注明出处:http://soartju.iteye.com/blog/803548经过前面的安装、配置、启动，马上就可以看到FastDFS的效果了，我们先上传一个文件...
分类：
其他好文 时间：
2014-12-01 19:15:25
阅读次数：
234
最近在研究负载均衡和集群，其中涉及到一个主要问题是，如何让集群中的real server共享一套文件系统。在网上查到FastDFS，国人（happy fish，感谢他的开源精神）开发的一套轻量级分布式文件系统。实际搭建了一下，感觉还不错，小巧易用，支持http下载。 虽然FastDFS官方网站 上已...
分类：
其他好文 时间：
2014-12-01 19:12:07
阅读次数：
140
