1、分布式环境搭建采用4 台安装Linux 环境的机器来构建一个小规模的分布式集群。 其中有一台机器是Master 节点，即名称节点，另外三台是Slaver 节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档的采集。 ...
分类：
其他好文 时间：
2016-05-08 14:58:55
阅读次数：
146
前面讲解了Hadoop完全分布式的搭建，本章主要讲解一下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境...
分类：
其他好文 时间：
2016-05-07 13:40:09
阅读次数：
221
---记于2015年11月6日星期五 准备工作 软硬件环境 主机操作系统：处理器：i5，主频：3.2G，内存：8G，Windows64 虚拟机软件：VMware Workstation 10 虚拟操作系统：CentOs-6.5 64位 JDk：1.8.0_65 64位 Hadoop：1.2.1 集群... ...
分类：
其他好文 时间：
2016-05-06 20:23:26
阅读次数：
310
一、实验目的
1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。
2. 两个NameNode构成HDFS Federation。
3. 不重启现有集群，不影响数据访问。
二、实验环境
4台CentOS release 6.4虚拟机，IP地址为
192.168.56.101 master
192.168.56.102 slave1
192.168...
分类：
其他好文 时间：
2016-05-06 12:17:55
阅读次数：
235
在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop集群的资源消耗，并且因为创建分配Container本身的开销，还会增加这些任务的运行时延。如果能将这些小任务都放入少量的Container中执行，将会解决这些问题。...
分类：
其他好文 时间：
2016-05-05 22:45:10
阅读次数：
307
在前面我有写过关于 Hadoop 集群的搭建，不过之前的 Hadoop 是 1.x 版本的。目前是基于 2.x 版本的 Hadoop，与之前的 1.x 版本的差别还是挺大的。以及更为详细的 SSH 免密码互连登录的配置过程。所以，这里也把我搭建的过程记录下来了。希望于你有益。...
分类：
其他好文 时间：
2016-05-05 07:06:42
阅读次数：
286
Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法先来先服务（FIFO）Hadoop中默认的调度器FIFO，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新 ...
分类：
编程语言 时间：
2016-05-04 01:08:56
阅读次数：
141
CDH5包下载：http://archive.cloudera.com/cdh5/ 主机规划： IP Host 部署模块 进程 192.168.107.82 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverController ...
分类：
其他好文 时间：
2016-05-02 13:10:29
阅读次数：
244
CDH5包下载：http://archive.cloudera.com/cdh5/ 架构设计： 主机规划： IP Host 部署模块 进程 192.168.254.151 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverCont ...
分类：
其他好文 时间：
2016-05-02 13:05:48
阅读次数：
237
Hadoop集群配置（最全面总结） 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://Hadoop.apache. ...
分类：
其他好文 时间：
2016-04-30 13:02:23
阅读次数：
266
