网络文件系统（NetworkFileSystem，NFS）是一种分布式文件系统协议，最初由SunMicrosystems公司开发，并于1984[1]年发布。其功能旨在允许客户端主机可以像访问本地存储一样通过网络访问服务器端文件。NFS和其他许多协议一样，是基于OpenNetworkComputingRemoteProcedureCall(ON..
分类：
其他好文 时间：
2015-08-02 23:40:21
阅读次数：
404
Hadoop分布式文件系统即Hadoop Distributed FileSystem。 当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区（Partition）并存储到若干台单独的计算机上，管理网络中跨越多台计算机存储的文件系统成为分布式文件系统（Distributed F....
分类：
其他好文 时间：
2015-08-02 16:38:18
阅读次数：
131
系统环境：centos 6 x86_64 集群环境：server1 server21,添加glusterfs源到centoswget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/LATEST/RHEL/....
分类：
其他好文 时间：
2015-08-02 06:18:34
阅读次数：
359
如何关闭安全模式呢？
bin/hadoop
dfsadmin
-safemode leave
原因:
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期...
分类：
其他好文 时间：
2015-07-31 13:10:33
阅读次数：
195
1、Hadoop核心项目：HDFS（分布式文件系统）和MapReduce（并行计算框架）2、HDFS的架构 主从结构 主节点，只有一个：namenode（接受用户操作要求；维护文件系统的目录结构；管理文件与block之间关系，block与datanode之间关系） 从节点，有很多个：d...
分类：
其他好文 时间：
2015-07-28 00:21:14
阅读次数：
179
一、基础知识（里面的内容包含大部分的Hadoop的内容，耐心的看完，肯定有收获，如有不同可留言或者上某度）1、Hadoop生态系统介绍(1)HBaseNosql 数据库，key-value存储最大化利用内存(2)HDFS简介：Hadoop distribute file system 分布式文件系统...
分类：
其他好文 时间：
2015-07-26 19:11:18
阅读次数：
120
一、基本概念 在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。 在分布式存储和分布式计算方.....
分类：
其他好文 时间：
2015-07-26 15:24:26
阅读次数：
3309
分布式文件系统（Distributed File System,DFS）可以提供文件的访问效率，提高文件的可用性并减轻服务器的负担。 分布式文件系统概述 通过分布式文件系统将相同的文件同时存储到网络上多台服务器后，即可拥有以下功能。 提供文件的访问效率：当客户端通过DFS访问文件时，DFS会引导客户...
分类：
其他好文 时间：
2015-07-26 00:24:07
阅读次数：
235
本文描写叙述怎样设置一个单一节点的Hadoop安装。以便您能够高速运行简单的操作，使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。參考官方文档：Hadoop MapReduce Next Generation - Setting up a Single Node Clus...
分类：
其他好文 时间：
2015-07-25 15:08:24
阅读次数：
195
Cygwin介绍：
Cygwin是一个在windows平台上运行的类UNIX模拟环境，它对于学习UNIX/Linux操作环境，或者从UNIX到Windows的应用程序移植，或者进行某些特殊的开发工作，尤其是使用GNU工具集在Windows上进行嵌入式系统开发，非常有用。
因为要学习hadoop分布式文件系统，想在window下模拟linux环境进行部署。所以想到用cygwin工具。
先将...
