HBase的完全分布式的搭建与部署，以及多master 一：前提准备 1.设置时间同步 2.清空logs，datas 3.格式化集群 bin/hdfs namenode -format 4.重启集群 sbin/start-dfs.sh sbin/start-yarn.sh 5.删除zookeeper ...
分类：
其他好文 时间：
2017-08-22 23:08:14
阅读次数：
228
本次测试环境如下 1. 软件准备 http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u144-b01/09 ...
分类：
其他好文 时间：
2017-08-21 22:20:56
阅读次数：
329
Hadoop是一个能够对大量数据进行分布式处理的软体框架，实现了Google的MapReduce编程模型和框架，能够把应用程式分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程式称为「作业（job）」，而从一个作业划分出 得、运行于各个计 ...
分类：
其他好文 时间：
2017-08-21 00:27:31
阅读次数：
158
在Hadoop1.x版本的时候，Namenode存在着单点失效的问题。如果namenode失效了，那么所有的基于HDFS的客户端——包括MapReduce作业均无法读，写或列文件，因为namenode是唯一存储元数据与文件到数据块映射的地方。而从一个失效的namenode中恢复的步骤繁多，系统恢复时 ...
分类：
其他好文 时间：
2017-08-20 15:48:14
阅读次数：
143
添加了一块硬盘，原来的DataNode已经把原有的硬盘占满；怎么办，想要把旧有的数据迁移到新的硬盘上面； 1. 在CDH中修改目录（在HDFS组件中搜索.dir)，本例中，新加的硬盘挂载在/data上面，NameNode,DataNode,以及CheckPoint路径都前加一个“/data"； 2. ...
分类：
其他好文 时间：
2017-08-20 12:35:03
阅读次数：
371
hdfs文件系统主要由四部分组成：client客户端、namenode、datanode、secondary namenode. client：1.分割文件成block. 2.与namenode交互，获取文件的位置信息。 3.与datanode交互，读取和写入数据。 namenode：1.接收客户端 ...
分类：
其他好文 时间：
2017-08-18 17:06:58
阅读次数：
148
1.hadoop的hdfs-site.xml的配置内容如下<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node2:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-addre..
分类：
其他好文 时间：
2017-08-17 12:37:21
阅读次数：
108
1、core-site.xml <configuration> <property> <name>fs.default.namenode</name> <value>hdfs://172.16.100.34:9000</value> </property> <property> <name>hado ...
分类：
其他好文 时间：
2017-08-17 10:22:29
阅读次数：
169
转自：https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/z ...
分类：
其他好文 时间：
2017-08-16 17:07:15
阅读次数：
202
场景回顾： 测试集群节点分配：35，36是namenode且开启HA，37,38,39即作为datanode，又作为journalnode。 某时间 38节点磁盘爆满，集群中hdfs及依赖的服务全部宕掉。 之后虽然将38节点清除一部分多余数据，但集群服务仍然不正常：namenode启动的时候两个都是 ...
分类：
其他好文 时间：
2017-08-15 10:23:29
阅读次数：
312
