在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能，本文在前文的基础上介绍hadoop 2.2.0HA的配置。
说明：
下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node，namenode2为standby na...
分类：
其他好文 时间：
2014-08-01 19:48:22
阅读次数：
243
Hadoop源起与体系概述
引[一个典型的实验环境]：
1.服务器： ESXi，可以在上面部署10多台虚拟机，能同时启动4台;
ESXi可以直接安装在裸机上面，而不用首先安装一个WinServer或Linux(StandAlone安装)。
ESXi在本质上就是一个高度定制化的Linux，其内核与周边环境都被VMWare公司修改了。
2.PC：要求Linux环境或Windows+Cygwin，Linux可以是StandAlone或者使用虚拟机
3.SSH：Windows下可以使用...
分类：
其他好文 时间：
2014-08-01 19:47:02
阅读次数：
264
RPC的全称为远程过程调用。由于Hadoop是一个分布式系统，因此底层的通信库也就必须实现RPC的基础功能。Hadoop RPC 在整个hadoop中扮演着底层通信模块的角色，举例而言NN和DN、AM和RM之间的通信和协调都是Hadoop RPC来完成的。熟悉使用Hadoop RPC可以加深我们对H...
分类：
其他好文 时间：
2014-08-01 18:33:52
阅读次数：
254
看了下MapReduce的例子。再看了下Mapper和Reducer源码，理清了参数的意义，就o了。public class Mapperpublic class Reducer Map是打散过程，把输入的数据，拆分成若干的键值对。Reduce是重组的，根据前面的键值对，重组数据。 自己写M...
分类：
其他好文 时间：
2014-08-01 15:34:21
阅读次数：
205
开始没搞定插件问题，就弄了个dsf操作类，后面搞定了插件问题，这玩意也就聊胜于无了，还是丢这里算了。 首先是一个配置，ztool.hadoop.propertieshadoop.home.dir=G:/hadoop/hadoop-2.4.1hadoop.user.name=hadoophado...
分类：
其他好文 时间：
2014-08-01 15:30:21
阅读次数：
240
分布式架构是中心化的设计，就是一个主控机连接多个处理节点,因此保证主控机高可用性十分关键.分布式锁是解决该问题的较好方案,多主控机抢一把锁.Zookeeper就是一套分布式锁管理系统,用于高可靠的维护元数据....
分类：
其他好文 时间：
2014-08-01 13:50:51
阅读次数：
230
因为一些缘故，这节内容到现在才写，其实弄hadoop有一段时间了，可以编写一些小程序了，今天来还是来说说环境的搭建....
说明一下：这篇文章的步骤是接上一篇的hadoop文章的：http://blog.csdn.net/enson16855/article/details/37725771 ，如果不是按照上篇的方式安装hadoop，可能会有些错误~百度一下就能解决的哈~
准备环境：
不用多...
//重新整理的比较清楚的opencv框架#include "stdafx.h"#include #include #include using namespace std;using namespace cv;int _tmain(int argc, _TCHAR* argv[]){ Mat las...
分类：
其他好文 时间：
2014-07-31 23:29:50
阅读次数：
343
C++编译错误cannot have cv-qualifier
在C++中CV指const和volatile两个关键字。有两种情况不能使用CV限定。
一、非成员函数不能含有CV限定，即const和volatile限定
#include
using namespace std;
double getArea() const
{
return ...
分类：
编程语言 时间：
2014-07-31 20:52:07
阅读次数：
227
先丢点问题小结到这里，免得忘记，有空再弄个详细教程完，网上的教程要不就是旧版的，要不就是没说到点子上，唉。1.服务器禁用ipV6配置.2.找不到winutils.exe，系统变量设置了HADOOP_HOME也不行，程序中直接设定环境变量，还能省去系统配置，更方便。System.setProperty...
分类：
其他好文 时间：
2014-07-31 20:38:17
阅读次数：
218
