一、基本概念 在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。 在分布式存储和分布式计算方.....
分类：
其他好文 时间：
2015-07-26 15:24:26
阅读次数：
3309
namenode进程没有启动原因是 没有创建该目录！可以日志进行查看错误,或者配置文件的ip不对datanode进程没有启动的原因是：dir中所指向的目录权限不对，权限755必须一模一样，如果在start-all.sh后权限恢复，则可以删除文件夹，在建立datanode 没有启动原因是 hdfs-s...
分类：
其他好文 时间：
2015-07-26 13:55:54
阅读次数：
499
尽管hadoop和一些培训视频课程上讲分布式部署比较详细，但是在部署时仍遇到了一些小问题，在此mark一下：1.linux的namenode主机上安装了ssh，也启动了ssh，并且执行了: /etc/init.d/iptables status显示： Firewall is stopped.但是，....
分类：
其他好文 时间：
2015-07-25 01:38:56
阅读次数：
136
本篇博客参考：Clustering by fast search and find of density peaks论文以及http://www.cnblogs.com/peghoty/p/3945653.html。 使用版本：Hadoop版本：2.6.0，Myeclipse：10.0 本地集群情况：node101 (主节点，namenode，datanode，ResourceManager，N...
分类：
其他好文 时间：
2015-07-24 18:32:48
阅读次数：
138
1.角色分配IPRoleHostname192.168.18.37Master/NameNode/JobTrackerHDP1192.168.18.35Slave/DataNode/TaskTrackerHDP2192.168.18.36Slave/DataNode/TaskTrackerHDP32...
分类：
其他好文 时间：
2015-07-23 17:24:39
阅读次数：
244
HDFS Federation是为解决HDFS单点故障而提出的NameNode水平扩展方案。 允许HDFS创建多个NameSpace以提高集群扩展性和隔离性。 当前HDFS包含两层结构：? (1) Namespace 管理目录，文件和数据块。它支持常见的文件...
分类：
其他好文 时间：
2015-07-23 16:00:58
阅读次数：
170
rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。下面我们来概要分析一下Hadoop2的rpc。Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。客户端采用传统的s...
分类：
其他好文 时间：
2015-07-22 18:26:37
阅读次数：
117
Linux环境：CentOs6.4Hadoop版本：Hadoop-1.1.2master: 192.168.1.241 NameNode JobTracker DataNode TaskTrackerslave:192.168.1.242 DataNode TaskTracker内容：设置DataN...
分类：
其他好文 时间：
2015-07-14 15:25:29
阅读次数：
147
最近在应用Hadoop集群时，碰上了任务提交集群后，长时间卡在accepted状态，申请资源困难的情况，经过一系列的日志分析，状况排查，才发现是由于NameNode出现过主备切换导致，之前的NameNode主节点由于某种原因宕掉导致主备切换发生，刚好时间卡在业务高峰期，部分数据块未同步（或其他原因，...
分类：
其他好文 时间：
2015-07-13 20:32:23
阅读次数：
119
在NameNode运行期间，HDFS的所有更新操作都是直接写到edits中，久而久之edits文件将会变得很大；虽然这对NameNode运行时候是没有什么影响的，但是我们知道当NameNode重启的时候，NameNode先将fsimage里面的所有内容映像到内存中，然后再一条一条地执行edits.....
分类：
其他好文 时间：
2015-07-13 20:21:45
阅读次数：
141
