Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构 之前我们简要的看过了DataNode的main函数以及整个类的大至，现在结合前面我们研究的线程和RPC，则可以进一步看看几个对象的大至结构以及调用关系。 我们知道，三个结构（客户端，NameNode,DataNod....
分类：
其他好文 时间：
2014-11-13 20:35:32
阅读次数：
223
一、ssh的启动 ssh localhost二、hadoop的HDFS的格式化 bin/hadoop namenode -format三、hadoop的start-all.sh的启动 bin/tart-all.sh四、hadoop的datanode的启动 bin/hadoop-daemon.sh s...
分类：
其他好文 时间：
2014-11-13 20:34:07
阅读次数：
115
Hadoop2NameNodeHA配置Hadoop2官方提供了两种NameNodeHA的实现方式，分别基于QJM和NFS,这里以基于QJM的HDFSHA为例。实验环境系统版本：CentOSrelease6.4(Final)Hadoop版本：ApacheHadoop2.5.1Hive版本：Hive0.13.1IP列表IPHostnameNameNodeDataNodeRMNodeManagerJournalNode192..
分类：
其他好文 时间：
2014-11-08 02:16:48
阅读次数：
322
向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。
解决的办法：
1、从其他非datanode节点上传
可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也可以，但是这样不太好，会增加namenode的负担，并且时间长了会让namenode...
分类：
Web程序 时间：
2014-11-07 17:10:35
阅读次数：
200
操作系统centos6.3(64位) 一个namenode 两个datanode
Hadoop版本：hadoop-1.1.2
Eclipse版本：eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.zip（
Eclipse SDK For Linux 4.4 RC 2(64 Bit )
）
JDK：版本
[work@...
分类：
系统相关 时间：
2014-11-07 17:04:40
阅读次数：
288
Hadoop源码学习笔记(2) ——进入main函数打印包信息 找到了main函数，也建立了快速启动的方法，然后我们就进去看一看。 进入NameNode和DataNode的主函数后，发现形式差不多： public static void main(String args[]) {try { Str....
分类：
其他好文 时间：
2014-10-31 08:44:03
阅读次数：
298
最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp...
分类：
其他好文 时间：
2014-10-30 13:06:01
阅读次数：
211
本次是第一次在生产环境部署HBase，本文若有配置上的不妥之处还请高手指正。hadoop版本：hadoop-2.4.1HBase版本：hbase-0.98.6.1-hadoop2JDK：1.6操作系统：centOS6.3 64bit1. 安装snappy#yum install snappyInst...
分类：
其他好文 时间：
2014-10-28 17:00:52
阅读次数：
719
问题一：namenode无法启动，查看日志，错误信息如下：org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: NameNode is ...
分类：
其他好文 时间：
2014-10-28 15:24:00
阅读次数：
539
上一篇简单讲了一下HDFS，简单来说就是一个叫做“NameNode”的大哥，带着一群叫做“DataNode”的小弟，完成了一坨坨数据的存储，其中大哥负责保存数据的目录，小弟们负责数据的真正存储，而大哥和小弟其实就是一台台的电脑，他们之间通过交换机，互相联系到了一起。 其实这位大哥和这群小弟不仅...
分类：
其他好文 时间：
2014-10-19 11:34:51
阅读次数：
155
