1、在打算做namenode的机器上，wget或其他方式下载hadoop的压缩包，并解压到本地指定目录 下载解压命令参考Linux常用命令。 2、配置namenode，修改site文件 修改core-site.xml <configuration>
??<property>
?...
分类：
其他好文 时间：
2014-07-28 00:48:29
阅读次数：
214
安装系统所需要的依赖包[root@namenode~]#yum-yinstallgccgcc-c++gcc-g77autoconfautomakezlib*fiex*libxml*ncurses-devellibmcrypt*libtool-ltdl-devel*cmakebison创建mysql用户与用户组[root@namenode~]#groupaddmysql[root@namenode~]#useradd-r-gmysqlmysql安装mysql[root@..
分类：
数据库 时间：
2014-07-22 18:15:22
阅读次数：
315
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂..
分类：
其他好文 时间：
2014-07-22 14:55:35
阅读次数：
365
NameNode 192.168.1.122 ?hadoop/hadoop VM ?192.168.1.123? DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所有机器上安装o...
分类：
其他好文 时间：
2014-07-22 09:10:37
阅读次数：
199
Namenode的工作特点 ? Namenode始终在内存中保存metedata（metedata里面保存的是元数据，比如整个文件系统的结构），用于处理“读请求”。但是我们把东西放在内存中，内存是易失的。 ? 所以到有“写请求”到来时...
分类：
其他好文 时间：
2014-07-22 08:22:34
阅读次数：
239
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一...
分类：
其他好文 时间：
2014-07-21 10:21:00
阅读次数：
327
1、HRegionServer启动不正常在namenode上执行jps,则可看到hbase启动是否正常，进程如下：[root@master bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNa...
分类：
其他好文 时间：
2014-07-17 13:02:12
阅读次数：
268
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
启动namenode，通过50070端口查看，发现livenode只有一个--namenode，查看datanode日志，发现有”Incompatible clusterIDs“错误，提示很明显，namenode和datanode的集群id不一致解决办法：找到core-site.xml配置文件，进入...
分类：
其他好文 时间：
2014-07-14 00:54:10
阅读次数：
196
FATAL conf.Configuration: error parsing conf file: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence.
14/07/12 23:51:40 ERROR namenode....
分类：
其他好文 时间：
2014-07-13 18:40:22
阅读次数：
291
