实现真正的分布式的hadoop，并不是伪分布式的。一、系统与配置共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0192.168.1.10 NameNode master （master）192.168....
分类：
系统相关 时间：
2015-02-04 16:29:23
阅读次数：
208
在安装hbase中出现问题如下：ERROR: Can't get master address from ZooKeeper; znode data == null解决办法：1、删除namenode目录中/data/hadoop/tmp/dfs/namesecondary/current的文件2、为...
分类：
其他好文 时间：
2015-01-31 00:18:13
阅读次数：
119
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1环境1.1部署hadoop单机版即可，namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类：
其他好文 时间：
2015-01-30 17:52:32
阅读次数：
313
1）JobTracker运行时参数： hadoop@ubuntu:/home/zhangchao3$ ps -ef | grep job
hadoop 29563 1 0 11:34 pts/12 00:00:24 /home/hadoop/jdk1.7.0_60/bin/java -Dproc_j...
分类：
其他好文 时间：
2015-01-28 17:30:59
阅读次数：
390
问题描述： 在实验的时候，需要往以前的集群中添加一台datanode，在添加之前，由于在调式namenode的时候，格式化了dfs，这就导致了namenode上的namespaceID和以前集群上datanode的namespaceID不一致，结果就会导致在启动hadoop集群的时候，旧的的data...
分类：
编程语言 时间：
2015-01-28 12:42:34
阅读次数：
216
实现真正的分布式的hadoop，并不是伪分布式的。
一、系统与配置
共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0
192.168.1.10 NameNode master （master）
192.168.1.20 DateNode slave1（Slave）...
分类：
系统相关 时间：
2015-01-28 09:55:38
阅读次数：
290
1、同步各个服务器时间yum install ntpntpdate ntp.fudan.edu.cnhdfs-site.xml配置如果没有配置这一项，hadoop默认是0.0.0.0:50090，如果你的namenode和secondarynamenode配置在同一台服务器上，是没有问题的。如果分开...
分类：
其他好文 时间：
2015-01-26 06:31:37
阅读次数：
257
网络上的很多人写的过程都是错的，关键配置反而不写。SecondaryNameNode的启动有两种方式一：在整个hdfs系统启动时，在namenode上执行start-dfs.sh则namenode会依据conf/master文件下的主机，逐个ssh上去，启动相应的程序，目的SecondaryName...
分类：
其他好文 时间：
2015-01-26 06:27:50
阅读次数：
139
Hadoop 平台优化
1. 概述
随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：
（1） Namenode/jobtracker单点故障。 Hadoo...
分类：
其他好文 时间：
2015-01-24 14:33:15
阅读次数：
172
环境基础篇需要4台机器（一台namenode,三台datanode);HA篇需要8台机器：两台namenode(一台作activenn,另一台作standbynn)，三台datanode，三台zookeeper（也可以省去这三台，把zookeeperdaemon部署在其他机器上）。实际上还需要3台journalnode,但因为它比较轻量级，所以这里就..
分类：
系统相关 时间：
2015-01-21 20:20:32
阅读次数：
358
