介绍完org.apache.hadoop.io以后，我们开始来分析org.apache.hadoop.rpc。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：Client-NameNode之间，其中NameNode是服务器Client-DataNode之间，其中DataNode..
分类：
其他好文 时间：
2015-05-11 18:09:28
阅读次数：
104
介绍完org.apache.hadoop.io 以后，我们开始来分析org.apache.hadoop.rpc。RPC 采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS 的，通信可能发生在：? Client-NameNode 之间，其中NameNode...
分类：
其他好文 时间：
2015-05-11 17:22:55
阅读次数：
112
1.Hadoop的3种运行模式单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点完全分布式模式：正常的Hadoop集群，由多个各司其职的节..
分类：
其他好文 时间：
2015-05-09 20:36:04
阅读次数：
169
1.本文目的通过解析客户端创建文件流程，认知hadoop的HDFS系统的一些功能和概念。2.主要概念2.1 NameNode（NN）：HDFS系统核心组件，负责分布式文件系统的名字空间管理、INode表的文件映射管理。如果不开启备份/故障恢复/Feneration模式，一般的HDFS系统就只有1个NameNode，当然这样是存在单点故障隐患的。NN管理两个核心的表：文件到块序列的映射、块到机器序列的...
分类：
其他好文 时间：
2015-05-08 09:30:01
阅读次数：
142
解决的命令：hadoop dfsadmin -safemode leave #关闭safe modesafemode模式NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模...
分类：
其他好文 时间：
2015-05-07 16:06:26
阅读次数：
98
最近应项目需要, 对MapReduce进行了一些实验测试, 记录如下.测试环境3台VM虚拟机, 都是Ubuntu系统, 1G内存, Hadoop 2.6.01台 NameNode (Master)3台 DataNode (Slave)其中Master和2台Slave (Slave2, Slave3)...
分类：
其他好文 时间：
2015-05-07 14:26:52
阅读次数：
129
RpcServer 线程模型
NameNode启动过程：线程模型
Listener 1个：
监听并接受来自客户端的连接.将新建连接放入pendingConnections.
清理空闲连接.
唤醒Reader.
Reader N个 : 从pendingConnections中获取连接，读取数据，从RpcRequest构造Call，并放入callQueue.Handler N 个：
从callQueue...
分类：
编程语言 时间：
2015-05-07 08:49:39
阅读次数：
124
项目环境中遇到的小文件较多，起初除了NAMENODE的内存外，还是比较担心文件物理空间的占用。于是就看一下，小文件是如何占用物理空间的：前提：HDFS块大小为64MB文件副本总共3份1、批量生成小文件（均20M）2、记录测试前DFS空间使用情况目前，DFS空间已经使用50.04GB3、向HIVE..
分类：
其他好文 时间：
2015-05-07 01:08:36
阅读次数：
200
1、单机模式：安装简单，几乎不用做任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点3、完全分布式模式：正常的Hadoop集群，由多个各司...
分类：
其他好文 时间：
2015-05-05 10:23:52
阅读次数：
168
HDFS的设计概述：
NameNode的设计
维护名字空间，是HDFS中文件目录和文件分配的管理者。 保存的重要信息如下：
文件名 ————> 数据块 ，NameNode在其本地磁盘上保存为文件（持久化）
对目录树和文件名的更新——>数据块， 使用操作日志来保存更新。
数据块 ————> DataNode列表 ，NameNode不存，通过DataNode上...
分类：
其他好文 时间：
2015-05-04 15:35:51
阅读次数：
128
