HDFS 对外提供了可供访问的http server，开放了很多端口，下面介绍常用的几个端口（http://hadoop：……）。一、50070 端口，查看NameNode 状态，如图1.1所示。图 1.1该端口的定义位于core-default.xml 中，如图1.2所示，读者可以在core-si...
分类：
其他好文 时间：
2014-09-21 11:04:30
阅读次数：
261
这里面说的read既包括get，也包括scan，实际底层来看这两个操作也是一样的。我们将要讨论的是，当我们从一张表读取数据的时候hbase到底是怎么处理的。分二种情况来看，第一种就是表刚创建，所有put的数据还在memstore中，并没有刷新到hdfs上；第二种情况是，该store已经进行多次的fl...
分类：
其他好文 时间：
2014-09-21 00:08:49
阅读次数：
623
一、搭建Hadoop 开发环境 我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用windows 下的eclipse 作为开发环境，访问运行在虚拟机中的HDFS。也就是通过在本地的eclipse 中的java 代码访问远程linux 中的hdfs。要使....
分类：
编程语言 时间：
2014-09-20 17:17:39
阅读次数：
271
一、RPC（Remote Procedure Call）简介 RPC 是远程过程调用(Remote Procedure Call)，即远程调用其他虚拟机中运行的javaobject。RPC 是一种客户端/服务器模式，那么在使用时包括服务端代码和客户端代码，还有我们调用的远程过程对象。HDFS 的运行...
分类：
其他好文 时间：
2014-09-20 13:30:18
阅读次数：
194
1. HDFS Federation产生背景 在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等，为了解决这些问题，Hadoop 2.0引入了基于共享存储的HA解决方案和H...
分类：
其他好文 时间：
2014-09-19 22:19:46
阅读次数：
542
一、HDFS的shell命令简介我们都知道HDFS 是存取数据的分布式文件系统，那么对HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。我...
分类：
其他好文 时间：
2014-09-19 17:03:45
阅读次数：
334
本文用到了查看hadoop源码，关于hadoop源码导入Eclipse方式见第一期一、HDFS的背景介绍 随着数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。 学术一.....
分类：
其他好文 时间：
2014-09-18 23:33:44
阅读次数：
260
HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有...
分类：
其他好文 时间：
2014-09-18 13:09:33
阅读次数：
309
