近年来的大数据应用特别热，特别是Hadoop和Spark。但大家使用这些分布式文件系统和计算框架都需要一个分布式的集群环境，而大家手头一般没有多余的机器部署master和多个slave节点，就只能在VMware上多安装几个虚拟机来模拟集群的搭建，但是安装好一台虚拟机后，我想大部分的人都不想再耗时再重...
分类：
其他好文 时间：
2014-08-02 01:49:52
阅读次数：
267
Hadoop源起与体系概述 Hadoop的源起——Lucene Lucene是Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎早期发布在个人网站和SourceForge，2001年年底成为apache软件基金会jakarta的一个子项目 Lucene的目的是为软件开发人员提供一个简单易用的工具...
分类：
其他好文 时间：
2014-08-01 23:09:52
阅读次数：
388
项目起源是因为有人希望有个模拟环境来模拟公平调度器和容量调度器，以便合理配置调度器，降低生产环境出问题的风险，详见https://issues.apache.org/jira/browse/YARN-1021。之后在hadoop2.3.0就增加了这个工具。首先设定环境变量：exportHADOOP_HOME=/usr/hadoop-2.3.0export..
分类：
其他好文 时间：
2014-08-01 20:10:42
阅读次数：
284
Zookeeper使用了一种称为Zab（ZookeeperAtomic Broadcast）的协议作为其一致性复制的核心，其特点为高吞吐量、低延迟、健壮、简单，但不过分要求其扩展性。
Zookeeper的实现是有Client、Server构成，Server端提供了一个一致性复制、存储服务，Client端会提供一些具体的语义，比如分布式锁、选举算法、分布式互斥等。从存储内容来说，Server端更多...
分类：
其他好文 时间：
2014-08-01 19:53:12
阅读次数：
309
在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能，本文在前文的基础上介绍hadoop 2.2.0HA的配置。
说明：
下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node，namenode2为standby na...
分类：
其他好文 时间：
2014-08-01 19:48:22
阅读次数：
243
Hadoop源起与体系概述
引[一个典型的实验环境]：
1.服务器： ESXi，可以在上面部署10多台虚拟机，能同时启动4台;
ESXi可以直接安装在裸机上面，而不用首先安装一个WinServer或Linux(StandAlone安装)。
ESXi在本质上就是一个高度定制化的Linux，其内核与周边环境都被VMWare公司修改了。
2.PC：要求Linux环境或Windows+Cygwin，Linux可以是StandAlone或者使用虚拟机
3.SSH：Windows下可以使用...
分类：
其他好文 时间：
2014-08-01 19:47:02
阅读次数：
264
RPC的全称为远程过程调用。由于Hadoop是一个分布式系统，因此底层的通信库也就必须实现RPC的基础功能。Hadoop RPC 在整个hadoop中扮演着底层通信模块的角色，举例而言NN和DN、AM和RM之间的通信和协调都是Hadoop RPC来完成的。熟悉使用Hadoop RPC可以加深我们对H...
分类：
其他好文 时间：
2014-08-01 18:33:52
阅读次数：
254
看了下MapReduce的例子。再看了下Mapper和Reducer源码，理清了参数的意义，就o了。public class Mapperpublic class Reducer Map是打散过程，把输入的数据，拆分成若干的键值对。Reduce是重组的，根据前面的键值对，重组数据。 自己写M...
分类：
其他好文 时间：
2014-08-01 15:34:21
阅读次数：
205
开始没搞定插件问题，就弄了个dsf操作类，后面搞定了插件问题，这玩意也就聊胜于无了，还是丢这里算了。 首先是一个配置，ztool.hadoop.propertieshadoop.home.dir=G:/hadoop/hadoop-2.4.1hadoop.user.name=hadoophado...
分类：
其他好文 时间：
2014-08-01 15:30:21
阅读次数：
240
