hadoop启动过程中遇到下面的问题：
2015-08-02 19:43:20,771 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting D...
分类：
编程语言 时间：
2015-08-03 01:19:22
阅读次数：
231
一、NameNode维护着2张表： 1.文件系统的目录结构，以及元数据信息 2.文件与数据块列表的对应关系 存放在fsimage中，在运行的时候加载到内存中的。 操作日志写到edits中 二、DataNode 使用block形式存储。在hadoop2中，默认的大小是128MB。 使用副本形式保存数据...
分类：
其他好文 时间：
2015-08-02 21:24:18
阅读次数：
161
一、客户端发送写块请求原理介绍：1、 客户端向NameNode发送一个写块请求，NodeName接收到这个请求之后给客户端一个消息，就是客户端应该把数据写到哪个DataNode,客户端接着就把数据写到分配到的那个DataNode中。2、 此时，不管客户端是否写数据成功，都写在edits日记中，此时e...
分类：
其他好文 时间：
2015-08-02 11:39:31
阅读次数：
173
如何关闭安全模式呢？
bin/hadoop
dfsadmin
-safemode leave
原因:
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期...
分类：
其他好文 时间：
2015-07-31 13:10:33
阅读次数：
195
Hadoop集群中分主节点master节点和slave节点，master节点监控slave节点。master和slave之间通过ssh协议进行通信。
master节点上部署有JobTracker和NameNode，当然也可以部署TaskTracker和DataNode。slave节点上部署TaskTracker和DataNode节点。JobTracker监控TaskTracker，...
分类：
其他好文 时间：
2015-07-31 01:26:56
阅读次数：
97
1、Hadoop核心项目：HDFS（分布式文件系统）和MapReduce（并行计算框架）2、HDFS的架构 主从结构 主节点，只有一个：namenode（接受用户操作要求；维护文件系统的目录结构；管理文件与block之间关系，block与datanode之间关系） 从节点，有很多个：d...
分类：
其他好文 时间：
2015-07-28 00:21:14
阅读次数：
179
一、基本概念 在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。 在分布式存储和分布式计算方.....
分类：
其他好文 时间：
2015-07-26 15:24:26
阅读次数：
3309
namenode进程没有启动原因是 没有创建该目录！可以日志进行查看错误,或者配置文件的ip不对datanode进程没有启动的原因是：dir中所指向的目录权限不对，权限755必须一模一样，如果在start-all.sh后权限恢复，则可以删除文件夹，在建立datanode 没有启动原因是 hdfs-s...
分类：
其他好文 时间：
2015-07-26 13:55:54
阅读次数：
499
本篇博客参考：Clustering by fast search and find of density peaks论文以及http://www.cnblogs.com/peghoty/p/3945653.html。 使用版本：Hadoop版本：2.6.0，Myeclipse：10.0 本地集群情况：node101 (主节点，namenode，datanode，ResourceManager，N...
分类：
其他好文 时间：
2015-07-24 18:32:48
阅读次数：
138
1.角色分配IPRoleHostname192.168.18.37Master/NameNode/JobTrackerHDP1192.168.18.35Slave/DataNode/TaskTrackerHDP2192.168.18.36Slave/DataNode/TaskTrackerHDP32...
分类：
其他好文 时间：
2015-07-23 17:24:39
阅读次数：
244
