为什么会引入RPC：RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：Client-NameNode之间，其中NameNode是服务器Client-DataNode之间，其中DataNode是服务器DataNode-NameNo...
分类：
其他好文 时间：
2014-09-09 19:43:49
阅读次数：
200
一、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)192.168.7.71(datanode)192.168.7.72(datanode)192.168.7.73(datanode)操作系统：CentOS6.3x86_64须用到的软件包:jdk-1.7.0_65-fcs.x86_64flume-ng-1.5.0flume-ng-agent-1.5.0hadoop-2.3.0+cdh5.1.0cat/etc/hosts19..
分类：
其他好文 时间：
2014-09-03 15:05:57
阅读次数：
252
初次在VM上配置Hadoop，开了三台虚拟机，一个作namenode,jobtracker另外两台机子作datanode,tasktracker配置好后，启动集群通过http://localhost:50700查看cluster状况Hadoop配置datanode无法连接到master发现没有dat...
分类：
其他好文 时间：
2014-08-29 15:54:18
阅读次数：
201
1错误：DataXceiver error processing WRITE_BLOCK operation2014-05-06 15:21:30,378 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: hadoop-datanode1:...
分类：
其他好文 时间：
2014-08-27 18:04:08
阅读次数：
215
hadoop多次格式化后，导致datanode启动不了,并且在datanode里面执行hadoop datanode -upgrade 会抛出如下异常:************************************************************/2014-08-27 14...
分类：
其他好文 时间：
2014-08-27 16:20:27
阅读次数：
365
Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/usr/loc...
分类：
其他好文 时间：
2014-08-26 21:23:27
阅读次数：
265
HDFS Rolling Upgrade
Introduction
HDFS 滚动升级允许单独升级每一个HDFS进程。例如，DataNode可以独立于NameNode升级。一个NameNode可以独立于其他的NameNode升级。NameNode可以独立于DataNode和JournalNode升级。
Upgrade
在Hadoop V2中，HDFS支持NameNode服务的HA和前后兼容...
分类：
其他好文 时间：
2014-08-22 10:51:26
阅读次数：
172
Centralized Cache Management inHDFS
Overview
HDFS中的集中式缓存管理是一个显式的管理缓存的机制，它允许用户指定被HDFS缓存的路径。NameNode将与磁盘上有所需的Block的DataNode通信，命令其在堆外缓存里缓存Block。
HDFS中的集中式缓存管理有许多重要的优势。
1. 明确地防止频繁使用的数据被赶出内存。当工作集的...
分类：
其他好文 时间：
2014-08-21 15:07:24
阅读次数：
346
系统正在运行，如何添加一个从节点： 步骤一： 配置好要新节点的的环境 步骤二： 在主节点的配置文件slaves文件中添加一行新节点的ip 步骤三： 然后在新节点中分别执行以下命令，启动进程： hadoop-daemon.sh start datanode hadoop-daemon.sh start...
分类：
其他好文 时间：
2014-08-18 01:32:13
阅读次数：
254
hadoop的分布式安装过程 分布结构 主节点(1个,是huanghe):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是huanghe1、huanghe2):DataNode、TaskTracker 我的配置：用户名/密码均为：root/huanghe ...
分类：
其他好文 时间：
2014-08-18 01:31:33
阅读次数：
233
