Hadoop2.4.1 64-Bit QJM HA and YARN HA Install + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA（Hadoop2.4.1(QJM方式的HDFS NameNode HA，YARN ResourceManager ...
分类：
其他好文 时间：
2015-01-09 22:12:06
阅读次数：
788
我们的HDFS生产环境是Hadoop-0.21,机器规模200台，block在7KW左右. 集群每运行几个月，NameNode就会频繁FGC,最后不得不restart NameNode. 因此怀疑NameNode存在内存泄漏问题，我们dump出了NameNode进程在重启前后的对象统计信息。
07-10重启前:
num #instances #byt...
分类：
其他好文 时间：
2015-01-09 12:42:21
阅读次数：
253
# (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 > 为了部署HA集群,应该准备以下事情: * namenode服务器: 运行namenode的服务器应该有相同的硬件配置. * journalnode服务器:运行的journalnode进程...
分类：
其他好文 时间：
2015-01-08 13:33:04
阅读次数：
166
引言 前提和设计目标 硬件错误 流式数据访问 大规模数据集 简单的一致性模型 “移动计算比移动数据更划算” 异构软硬件平台间的可移植性 Namenode 和 Datanode 文件系统的名字空间 (namespace) 数据复制 副本存放: 最最开始的一步 副本选择 安全模式 文件系统元数据的持久化...
分类：
其他好文 时间：
2015-01-08 11:12:54
阅读次数：
166
NameNode类位于org.apache.hadoop.hdfs.server.namenode包下。NameNode serves as both directory namespace manager and "inode table" for the Hadoop DFS. There is...
分类：
其他好文 时间：
2015-01-06 22:52:07
阅读次数：
365
1.hadoop1.0与hadoop2.0的区别： hadoop1.0生态如下图： hadoop2.0生态： 2.HDFS描述：HDFS是google的GFS的开源克隆，HDFS的架构如下图： 1) NameNode：管理HDFS的名称空间，管理数据块映射信息，配置副本策略，处理...
分类：
系统相关 时间：
2015-01-06 13:48:52
阅读次数：
267
环境：Hadoop1.2.1 配置SecondaryNameNode节点 [grid@hadoop1 hadoop-1.2.1]$ cat ./conf/masters
hadoop2 配置NameNode节点、同步检查时间 [grid@hadoop1 hadoop-1.2.1]$ cat ./conf/core-site.xml
<?xml versio...
分类：
其他好文 时间：
2015-01-03 22:33:04
阅读次数：
199
自己在虚拟机上建立伪分布环境，第一天还一切正常，后来发现每次重新开机以后都不能正常启动，在start-dfs.sh之后jps一下发现namenode不能正常启动，按提示找到logs目录下namenode的启动log发现如下异常。hadoop@cgy-VirtualBox:~$ jps5096 Re....
分类：
其他好文 时间：
2014-12-31 01:00:52
阅读次数：
382
[hadoop@MasterHadoop50 ~]$ hadoop namenode -format
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Error: Could not find or load main class...
分类：
编程语言 时间：
2014-12-21 14:03:13
阅读次数：
1107
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大...
分类：
其他好文 时间：
2014-12-19 10:07:54
阅读次数：
307
