一个分布式系统基础架构，由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 首先搭建Docker环境,Docker版本大于1.3.2 安装主机监控程序和加速器(curl -sSL https://get.daocloud.io/d ...
分类：
其他好文 时间：
2016-06-02 23:19:42
阅读次数：
282
本次Hadoop集群安装一共使用四个节点，各节点IP如下： Master 172.22.120.191 Slave1 172.22.120.192 Slave2 172.22.120.193 Slave3 172.22.120.193 系统版本CentOS 6.2L JDK版本：1.7 Hadoop ...
分类：
其他好文 时间：
2016-05-31 13:45:48
阅读次数：
147
最近为了方便开发，在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群，hadoop集群的搭建与zookeeper集群这里就不再详细说明，原来的笔记中记录过。这里将hbase配置参数进行相应整理，方便日后使用。 首先vi ~/.bash_profile将hbase的环境变量进行配置，最后s ...
前言 首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实 ...
分类：
其他好文 时间：
2016-05-23 14:43:38
阅读次数：
300
转自：http://blog.csdn.net/huyuxiang999/article/details/17691405 一、实验环境 ： 1、硬件：3台DELL服务器，CPU：2.27GHz*16，内存：16GB，一台为master，另外2台为slave。 2、系统：均为CentOS6.3 3、 ...
分类：
其他好文 时间：
2016-05-19 09:10:05
阅读次数：
422
原以为搭建一个本地编程测试hadoop程序的环境很简单,没想到还是做得焦头烂额,在此分享步骤和遇到的问题,希望大家顺利. 一.要实现连接hadoop集群并能够编码的目的需要做如下准备: 1.远程hadoop集群(我的master地址为192.168.85.2) 2.本地myeclipse及myecl ...
分类：
系统相关 时间：
2016-05-13 09:00:31
阅读次数：
275
Hadoop集群WorkCount详解
MapReduce理论介绍
MapReduce处理过程
MapReduce代码
1.MapReduce 理论介绍1.1 MapReduce编程模型
MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇...
分类：
其他好文 时间：
2016-05-13 03:00:02
阅读次数：
193
Ganglia环境搭建并监控Hadoop分布式集群
简介
Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。
环境搭建流程
1、我们先在主机master01上面搭建好Ganglia环境
2、在master01主机上解...
分类：
其他好文 时间：
2016-05-12 18:08:59
阅读次数：
269
Hadoop的集群和优化 Hadoop集群规模小到几个节点就可以组件一个集群，大到由几千个节点组成的超大集群。 在安装Hadoop集群时，把要安装的软件解压到集群内的所有机器上，软件的安装目录也要一致。集群里所有的HADOOP_HOME目录代表安装的根路径，集群中机器要求HADOOP_HOME路径一... ...
分类：
其他好文 时间：
2016-05-11 11:09:05
阅读次数：
102
虚拟机配置成静态IP可以保证每次宿主机器重启后，虚拟机的IP保持不变，这对于学习集群环境下的软件（如hadoop集群，mysql等数据库集群）很有用。 vmware workstation 中装好linux系统后（这里用CENTOS 7），虚拟机使用NAT方式上网，可以按照下述方式进行简单的网络配置 ...
分类：
系统相关 时间：
2016-05-09 01:26:19
阅读次数：
1112
