Hadoop集群hdfs添加磁盘操作 目前的环境是cdh。服务器部署在Azure；一个cdhmaster（一个namenode，一个datanode），四个cdhslave节点（各一个datanode）。 hdfs现状： 首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T） 在到服务 ...
分类：
其他好文 时间：
2018-05-03 23:27:25
阅读次数：
1226
由于项目需要，我在VMware上装了几个虚拟机Windows server 2012 R2，并要搭建Hadoop集群。刚刚入门hadoop，一头雾水，然后开始搜各种教程，首先是选用cygwin进行安装，但是呢，后来出现一堆问题，然后放弃。最终选择直接在Windows server 2012 R2上安 ...
HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS展开的。所以部署一个HDFS集群，是很核心的一个动作，也是大数据平台的开始。 安装Hadoop集群，首先需要有Zookeeper才可以完成安装。如果没有Zookeeper，请先部署一套Zookeeper。另外，JDK以及物理主机 ...
分类：
其他好文 时间：
2018-04-30 13:32:41
阅读次数：
291
前面已经完成Zookeeper和HDFS的安装，本文会详细介绍Hbase的安装步骤。以及安装过程中遇到问题的汇总。 系列文章： Hadoop集群(一) Zookeeper搭建 Hadoop集群(二) HDFS搭建 Hadoop集群(四) Hadoop升级 下面开始Hbase的安装。 Hbase的服务 ...
分类：
其他好文 时间：
2018-04-30 13:30:04
阅读次数：
187
Hadoop前面安装的集群是2.6版本，现在升级到2.7版本。 注意，这个集群上有运行Hbase，所以，升级前后，需要启停Hbase。 更多安装步骤，请参考： Hadoop集群(一) Zookeeper搭建 Hadoop集群(二) HDFS搭建 Hadoop集群(三) Hbase搭建 升级步骤如下： ...
分类：
其他好文 时间：
2018-04-30 13:27:07
阅读次数：
163
HADOOP是apache旗下的一套开源软件平台，利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 ...
分类：
其他好文 时间：
2018-04-29 14:28:52
阅读次数：
228
1. 基础环境搭建 新建3个CentOS6.5操作系统的虚拟机，命名（可自定）为masternode、slavenode1和slavenode2。该过程参考上一篇博文CentOS6.5安装配置详解 2.Hadoop集群搭建（以下操作中三个节点相同的地方就只给出主节点的截图，不同的才给出所有节点的截图 ...
分类：
其他好文 时间：
2018-04-20 18:58:15
阅读次数：
195
在Hadoop 2.0.0之前，一个Hadoop集群只有一个NameNode，那么NameNode就会存在单点故障的问题，幸运的是Hadoop 2.0.0之后解决了这个问题，即支持NameNode的HA高可用，NameNode的高可用是通过集群中冗余两个NameNode，并且这两个NameNode分... ...
分类：
其他好文 时间：
2018-04-14 13:58:41
阅读次数：
200
一、背景 在目前规模比较大的互联网公司中，总数据量能达到10PB甚至几十PB数据量的公司，我认为中国已经有超过了20家了。而在这些公司中，也有很多家公司的 日数据增长达到100TB+ 了。 所以我们每天都要观察集群的数据增长，观察是否有哪一天、哪个路径增长过猛了，是否增长了很多垃圾数据；继续深挖下去 ...
分类：
其他好文 时间：
2018-04-11 16:16:38
阅读次数：
210
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群（也可访问该网页查看：http://tn.51cto.com/article/562）所需软件：（1）下载Hadoop2.5.1到Win7系统下，并解压缩Hadoop2.5.1下载地址：Indexof/dist/hadoop/core/hadoop-2.5.1http://archive.apache.org/dist/ha
