什么是RPC?1、RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。
2、Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。RPC协议假定某些传输协议的存在，如...
分类：
其他好文 时间：
2015-06-08 21:37:20
阅读次数：
169
查看日志如下:2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:500752014-12-22 12:08:27,692 IN...
分类：
其他好文 时间：
2015-06-07 15:43:23
阅读次数：
148
1.hadoop的分布式安装过程
1.1 分布结构
主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
1.2 各节点重新产生ssh加...
分类：
其他好文 时间：
2015-06-03 23:32:38
阅读次数：
151
重新格式化hdfs系统的方法：
（1）查看hdfs-ste.xml：
dfs.name.dir
/home/hadoop/hdfs/name
namenode上存储hdfs名字空间元数据
dfs.data.dir
/home/hadoop/hdsf/data
datanode上数据块的物理存储位置
将 dfs.name.dir所指定的目录删除、dfs.dat...
分类：
其他好文 时间：
2015-06-03 23:29:41
阅读次数：
195
client通过DistributedFileSystem对象调用create()方法创建文件，实际上通过RPC调用了NameNode的方法。NameNode收到client的请求之后，执行各种检查（1.确认要传文件目前在HDFS上不存在，2.client具有写的权限）如果通过则会为新文件创建一条记录,并返回一个FSDataOutputStream对象，该对象负责DataNode和NameNode...
分类：
其他好文 时间：
2015-06-03 10:00:38
阅读次数：
98
代码确信无误之后，ant运行起来，发现一执行就卡在Running Job XXXX那里一直不动了。 试着把代码打包成jar扔到Linux执行也还是一样的效果。还是停在那里。然后就一顿瞎蒙。最后发现是Hadoop2的datanode的问题。当时试着执行list的时候发现是znode=null啥的...
分类：
其他好文 时间：
2015-05-31 18:24:44
阅读次数：
175
client调用FileSystem.open(),该FileSystem指向的实例是DistrbutedFileSystem（DFS），它通过RPC请求到Namenode.
Namenode收到请求后，对于每一个块返回存有该副本的Datanode地址。并且依照“网络拓扑”来排序。（就近原则）DFS获取到BlockLocations后，可以根据当前读取偏移量计算指定DataNode并进行通讯，返...
分类：
其他好文 时间：
2015-05-28 09:40:55
阅读次数：
236
日志格式：日志名称解析：Hadoop启停的三种方式：、停止后面的以此类推......另外hadoop-daemons.sh表示启动多个，比如datanode跟tasktracker在真实环境都会有多个附：
分类：
其他好文 时间：
2015-05-27 22:34:29
阅读次数：
163
HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成。NameNode是一个中心服务器，负责文件系统的名字空间的操作，比如打开、关闭、重命名文件或目录，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控DataNode的心跳和维护数据块副本的个数。集群中的DataNode一般是一个节点一个，负责管理它所在节...
分类：
其他好文 时间：
2015-05-25 16:46:16
阅读次数：
94
HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成。NameNode是一个中心服务器，负责文件系统的名字空间的操作，比如打开、关闭、重命名文件或目录，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控Dat...
分类：
其他好文 时间：
2015-05-25 16:03:54
阅读次数：
103
