1、Hadoop核心项目：HDFS（分布式文件系统）和MapReduce（并行计算框架）2、HDFS的架构 主从结构 主节点，只有一个：namenode（接受用户操作要求；维护文件系统的目录结构；管理文件与block之间关系，block与datanode之间关系） 从节点，有很多个：d...
分类：
其他好文 时间：
2015-07-28 00:21:14
阅读次数：
179
一、基础知识（里面的内容包含大部分的Hadoop的内容，耐心的看完，肯定有收获，如有不同可留言或者上某度）1、Hadoop生态系统介绍(1)HBaseNosql 数据库，key-value存储最大化利用内存(2)HDFS简介：Hadoop distribute file system 分布式文件系统...
分类：
其他好文 时间：
2015-07-26 19:11:18
阅读次数：
120
一、基本概念 在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。 在分布式存储和分布式计算方.....
分类：
其他好文 时间：
2015-07-26 15:24:26
阅读次数：
3309
分布式文件系统（Distributed File System,DFS）可以提供文件的访问效率，提高文件的可用性并减轻服务器的负担。 分布式文件系统概述 通过分布式文件系统将相同的文件同时存储到网络上多台服务器后，即可拥有以下功能。 提供文件的访问效率：当客户端通过DFS访问文件时，DFS会引导客户...
分类：
其他好文 时间：
2015-07-26 00:24:07
阅读次数：
235
本文描写叙述怎样设置一个单一节点的Hadoop安装。以便您能够高速运行简单的操作，使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。參考官方文档：Hadoop MapReduce Next Generation - Setting up a Single Node Clus...
分类：
其他好文 时间：
2015-07-25 15:08:24
阅读次数：
195
Cygwin介绍：
Cygwin是一个在windows平台上运行的类UNIX模拟环境，它对于学习UNIX/Linux操作环境，或者从UNIX到Windows的应用程序移植，或者进行某些特殊的开发工作，尤其是使用GNU工具集在Windows上进行嵌入式系统开发，非常有用。
因为要学习hadoop分布式文件系统，想在window下模拟linux环境进行部署。所以想到用cygwin工具。
先将...
virsh命令
suspend
resume
dumpxml
KVM平台以存储池的形式对存储进行统一管理，所谓存储池可以理解为本地目录、通过远端磁盘阵列（iSCSI、NFS）分配过来磁盘或目录，当然也支持各类分布式文件系统。
存储池（Storage
pools）是放置虚拟机的存储位置，可以是本地的，也可以是网络存储，具体的虚拟机实例放置在卷（Volume...
分类：
系统相关 时间：
2015-07-25 01:46:39
阅读次数：
434
什么是分布式文件系统数据量越来越多，已经超出了一个操作系统的管辖范围，需要分配到更多的操作系统管理的磁盘中，因此需要一种文件系统来管理多台机器上的文件，这就是分布式文件系统。分布式文件系统是一种允许文件通过网络在多台主机上共享的文件系统，可以让多台机器上的用户分享文件和存储空间。HDFS概念HDFS...
分类：
其他好文 时间：
2015-07-17 18:33:51
阅读次数：
110
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。1.分布式文件系统
多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。
分布...
分类：
其他好文 时间：
2015-07-16 09:48:47
阅读次数：
143
1.什么是分布式文件系统？管理网络中跨多台计算机存储的文件系统称为分布式文件系统。2.为什么需要分布式文件系统了？原因很简单，当数据集的大小超过一台独立物理计算机的存储能力时候，就有必要对它进行分区（partition）并存储到若干台单独计算机上。3.分布式系统比传统的文件的系统更加复杂因为分布式文...
分类：
其他好文 时间：
2015-07-14 22:31:35
阅读次数：
236
