下载hadoop1.0.4版本，和jdk1.6版本或更高版本：1. 安装JDK，安装目录大家可以自定义，下面是我的安装目录： 配置环境变量： 将环境变量添加到profile文件底部： 激活环境变量： 2. 安装hadoop创建hadoop用户及其hadoop组。配置IP对应域名在 在hosts文件底 ...
分类：
其他好文 时间：
2017-11-24 19:13:49
阅读次数：
150
一、节点规划hadoop1、hadoop2HMasterhadoop3、hadoop4、hadoop5HRegionServer二、配置环境变量exportHBASE_HOME=/usr/local/hbase
exportPATH=:$HBASE_HOME/bin:$PATH三、解压hbase四、修改配置参数1.hbase-env.sh[root@hadoop1~]#cat/usr/local/hbase/conf/hbase-env.sh|grep..
分类：
其他好文 时间：
2017-11-10 12:48:16
阅读次数：
146
下载：http://mirror.bit.edu.cn/apache/hbase/stable/ 官方指南：http://abloz.com/hbase/book.html 安装配置： 解压： tar -xzvf hbase-0.96.0-hadoop1-bin.tar.gz 进入$hbase/li ...
分类：
系统相关 时间：
2017-11-08 13:13:01
阅读次数：
191
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： （1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFS Fede ...
分类：
其他好文 时间：
2017-11-03 13:12:40
阅读次数：
222
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍，对Hadoop这个神奇的小象有了一个初步的了解，还对每次学习的内容进行了总结，也形成了我的一个博文系列《Hadoop学习笔记系列》。其实，早在2014年Hadoop2.x版本就已经开始流行了起来，并且已经成为了现在的主流。当然， ...
分类：
其他好文 时间：
2017-11-03 12:55:54
阅读次数：
160
一、Hadoop 系统架构 1.1 Hadoop1.x和Hadoop2.x 架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。Hadoop 1.x之前，其官方架构如图1所示: [ 图1.Hadoop 1.x架构图 ] 从图中可看出，1.x版本之前只有一个Namen ...
分类：
其他好文 时间：
2017-10-29 20:26:31
阅读次数：
177
Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker； Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS：HA、NameNode Federation ...
分类：
其他好文 时间：
2017-10-16 23:23:09
阅读次数：
237
Kafka 学习笔记之 Kafka0.11之console-producer/console-consumer: 启动Zookeeper 启动Kafka0.11 创建一个新的Topic： ./kafka-topics.sh --create --zookeeper hadoop1:2181,hado ...
分类：
其他好文 时间：
2017-10-05 13:31:39
阅读次数：
290
在 hadoop1生成ca并拷贝至hadoop2,hadoop2. 在每一条机器上生成 keystore，和trustores 将最终keystore,trustores放入合适的目录，并机上后缀 hdfs-site.xml 配置ssl-client.xml ssl-server.xml ...
分类：
Web程序 时间：
2017-09-22 11:52:02
阅读次数：
295
YARN最初的思想是把hadoop1中的job tracker的功能拆分出来,把它的资源管理与任务调度功能分成两个单独的进程.yarn体系结构中有两个进程,resource manager和nodemanger.前者主要负责资源分配,后者nodemanager在每一个机器中都有一个进程,负责cont ...
分类：
其他好文 时间：
2017-09-12 09:55:50
阅读次数：
187
