配置HDFS联邦配置etc/hadoop/hdfs-site.xml<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1</name>
<value&g..
分类：
其他好文 时间：
2014-11-26 06:48:49
阅读次数：
155
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解bloc..
分类：
其他好文 时间：
2014-11-25 19:03:31
阅读次数：
253
Hadoop
Yarn的安装部署于Hadoop类似，以下以CDH4.5为例说明安装步骤。
三台机器，修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME：
172.20.4.142 yarn-namenode
172.20.4.143 yarn-datanode1
172.20.4.147 yarn-d...
分类：
其他好文 时间：
2014-11-24 20:57:36
阅读次数：
298
1.下载storm并解压
2.修改文件 storm.yaml
我这里填的是域名，填ip也可以
hadoop@namenode:~/storm-0.9.2/conf$ vim storm.yaml
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor licens...
分类：
其他好文 时间：
2014-11-24 01:03:47
阅读次数：
334
Hadoop分布式文件系统分为三部分：ClientNode，NameNode,DataNode(n个)，之间通过TCP/IP进行通信。
CN：1.提供给客户接口，向NN发送读写等命令
2.根据NN提供的信息，向多个DN中写入，或从中读取。
NN：1.管理文件系统的名字空间
2.管理CN对文件的访问
DN：负责管理节点的文件存储
Operation：
Read：1.CN向NN发送读取文...
分类：
其他好文 时间：
2014-11-21 12:45:02
阅读次数：
225
Hadoop下，HDFS运维算是一个非常重要的过程。对于生产而言，海量数据被存储到了HDFS中，如果HDFS挂了，那么导致生产环境无法工作是小，遗失数据而造成的后果将更加巨大。下面总结下CDH体系下HDFS基础运维知识。首先得从HDFS下的NameNode开始，简介下NameNode的工作机制当我们把..
分类：
其他好文 时间：
2014-11-18 01:49:51
阅读次数：
284
直接上问题:这两天为了试验,安装了两套集群:(1)32位hadoop1集群(5个节点);(2)64位hadoop2集群(6个节点)两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接..
分类：
Web程序 时间：
2014-11-17 19:47:36
阅读次数：
248
直接上问题:这两天为了试验,安装了两套集群:
(1)32位hadoop1集群(5个节点);
(2)64位hadoop2集群(6个节点)
两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,...
分类：
Web程序 时间：
2014-11-17 16:00:22
阅读次数：
199
采用的是4台真实机器：namenode：qzhong node27datanode：qzhong node27 node100 node101操作系统环境：qzhong（Ubuntu-14.0） node27、node100、node101（CentOS 64bits）HA配置方式：采用的是jour...
分类：
其他好文 时间：
2014-11-17 10:31:34
阅读次数：
321
hadoop启动时报如下错误：错误分别在namenode和jobTracker日志文件都有org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotdelete/usr/hadoop/tmp/mapred/system.Namenodeisinsafemode.Theratioofreportedblocks1.0000hasreachedthethreshold0.9990.Safemodewill..
分类：
其他好文 时间：
2014-11-16 18:54:48
阅读次数：
242
