1、单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点 安装与配置步骤： 下载并解压Hadoo...
分类：
其他好文 时间：
2014-10-09 02:49:17
阅读次数：
246
理论基础：Hadoop 分布式文件系统架构HDFS 负责大数据存储MapReduce 负责大数据计算namenode master守护进程datanode slaves上负责存储的进程secondarynamenode master上提供周期检查和清理任务的进程jobtracker maste...
分类：
其他好文 时间：
2014-10-03 01:34:04
阅读次数：
451
bug集锦1. hadoop平台datanode无法启动：原因： 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类：
其他好文 时间：
2014-10-02 23:55:33
阅读次数：
205
namevalueDescriptiondfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非...
分类：
其他好文 时间：
2014-09-24 13:11:26
阅读次数：
175
一、故障症状最近公司一个集群跑大任务时，datanode日志报DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread异常，然后计算节点上的DataNode直接挂掉。...
分类：
其他好文 时间：
2014-09-23 21:51:05
阅读次数：
300
#include #include typedef struct DataNode{ int (*handle)();}tDataNode;int print(){ printf("Hello World!\n"); return 0;}int main(){ int a = 0; tDataNod...
分类：
其他好文 时间：
2014-09-22 20:39:53
阅读次数：
166
一、配置1. 在masters文件中添加 Secondary节点的主机名。*注：masters文件用于指定secondary的主机而不是namenode，slaves用于指定datanode和tasktracker，namenode由core-site.xml fs.default.name指定，j...
分类：
其他好文 时间：
2014-09-22 20:10:03
阅读次数：
197
问题描述：在启动datanode进程时，能成功的启动；但用jps查看进程时，发现进程不存在，下面是在datanode日记文件的错误信息如下图的截屏所示：主要原因：发生错误的原因：由于把data放在的tmp的零时目录下，导致格式化之后，datanode中的数据在namenode中无法找相应的句柄。解决...
分类：
其他好文 时间：
2014-09-21 21:59:31
阅读次数：
256
今天在Pseudodistributed mode下启动HDFS
见配置http://blog.csdn.net/norriszhang/article/details/38659321
但是在试验向HDFS里拷贝文件时，发现出错，说没有找到namenode，用jps查看，有datanode和secondary namenode都启动起来了，但NameNode没有启动起来，用netst...
分类：
其他好文 时间：
2014-09-11 12:35:12
阅读次数：
174
HDFS 的可靠性主要有一下几点:冗余副本策略机架策略心跳机制安全模式效验和回收站元数据保护快照机制1.冗余副本策略 可以在hdfs-site.xml中设置复制因子指定副本数量 所有数据块都可副本 DataNode启动时,遍历本地文件系统,产生一份HDFS数据块和本地文件的对应关系列表(blo...
分类：
其他好文 时间：
2014-09-09 19:56:19
阅读次数：
2227
