hadoop2.6平台搭建 一、条件准备 软件条件： Ubuntu14.04 64位操作系统，jdk1.7 64位，Hadoop 2.6.0 硬件条件： 1台主节点机器，配置：cpu 8个，内存32G,硬盘200G 5台从节点机器，配置均为：cpu 4个，内存16G,硬盘200G 各个节点IP如下： ...
分类：
其他好文 时间：
2016-10-31 21:41:16
阅读次数：
261
核心内容:
1、Hadoop1.1.2伪分布(或集群)搭建核心配置文件
2、Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件
3、Hadoop2.4.1 + HA 集群搭建核心配置文...
分类：
其他好文 时间：
2016-10-31 16:42:19
阅读次数：
228
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...
分类：
其他好文 时间：
2016-10-31 09:18:27
阅读次数：
340
一、简介 1.1 背景： 针对Hadoop 1.x中可能出现的NameNode单点故障（SPOF）或者短时间无法使用的情况，Hadoop 2.x 通过增加一个NameNode的方式进行了改善，而增加一个NameNode后，实际在没有出现问题时，只需要一个NameNode，所以两个NameNode一个 ...
分类：
其他好文 时间：
2016-10-31 07:10:46
阅读次数：
201
Hadoop是用作处理大数据用的，核心是HDFS、Map/Reduce。虽然目前工作中不需要使用这个，但是，技多不压身，经过虚拟机很多遍的尝试，终于将Hadoop2.5.2的环境顺利搭建起来了。 首先准备一个CentOS，将主机名改为master，并且在/etc/hosts里面加入master对应的 ...
分类：
其他好文 时间：
2016-10-29 18:55:23
阅读次数：
196
终于将这个神秘的寻象人 oozie 安装配置成功了，这个困扰我好几天， 当看到如下的画面， 我觉得值！ 废话少说，看我如何编译和安装过程： （已经将hadoop2.5.2HA 的环境搭建起来了，hive,habase, flume,stom 都有了 Linux环境：centos6.5 64bit j ...
分类：
其他好文 时间：
2016-10-29 14:31:47
阅读次数：
314
本文仍然使用MapReduce的经典例子 WordCount来测试eclipse的开发环境。 与大部分教程不同的是，本文使用的hadoop是2.5.2的版本，相较于之前的0.X版本，hadoop 2.X有较大改动 在jar包方面，Hadoop 2.x 版本中 jar 不再集中在一个 hadoop-c ...
分类：
系统相关 时间：
2016-10-29 02:14:41
阅读次数：
262
本文将介绍HA机制的原理，以及Hadoop2 HA配置过程。 ———————————————————————————————————————————————————————————————————— HA机制的原理 HA中有两个NameNode：Active NameNode和Standby Nam ...
分类：
其他好文 时间：
2016-10-28 23:06:39
阅读次数：
302
目的: 学习用java进行的常用hdfs操作 参考： [0002] Hadoop HDFS cmd常用命令练手 环境： hadoop2.6.4 win7 下的eclipse环境调试已经配置好，参考前面的文章 代码： 1. 创建文件夹 以流的方式下载文件 1 package hdfs; 2 3 imp ...
分类：
编程语言 时间：
2016-10-25 19:29:58
阅读次数：
226
目的： 学习Hadoop mapreduce 开发环境eclipse windows下的搭建 环境： Winows 7 64 eclipse，直接运行mapreduce 到服务器，结果输出到eclipse Hadoop2.6.4环境 准备： Hadoop2.6.4的源码包 相关： [0004] Ha ...
分类：
其他好文 时间：
2016-10-25 14:04:06
阅读次数：
233
