在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能，本文在前文的基础上介绍hadoop 2.2.0HA的配置。
说明：
下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node，namenode2为standby na...
分类：
其他好文 时间：
2014-08-01 19:48:22
阅读次数：
243
Hadoop源起与体系概述
引[一个典型的实验环境]：
1.服务器： ESXi，可以在上面部署10多台虚拟机，能同时启动4台;
ESXi可以直接安装在裸机上面，而不用首先安装一个WinServer或Linux(StandAlone安装)。
ESXi在本质上就是一个高度定制化的Linux，其内核与周边环境都被VMWare公司修改了。
2.PC：要求Linux环境或Windows+Cygwin，Linux可以是StandAlone或者使用虚拟机
3.SSH：Windows下可以使用...
分类：
其他好文 时间：
2014-08-01 19:47:02
阅读次数：
264
RPC的全称为远程过程调用。由于Hadoop是一个分布式系统，因此底层的通信库也就必须实现RPC的基础功能。Hadoop RPC 在整个hadoop中扮演着底层通信模块的角色，举例而言NN和DN、AM和RM之间的通信和协调都是Hadoop RPC来完成的。熟悉使用Hadoop RPC可以加深我们对H...
分类：
其他好文 时间：
2014-08-01 18:33:52
阅读次数：
254
# -*- coding: utf-8 -*-import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport jsons = pd.Series([1,3,5,np.nan,6,8]);print(s);s = p...
分类：
其他好文 时间：
2014-08-01 15:53:01
阅读次数：
202
看了下MapReduce的例子。再看了下Mapper和Reducer源码，理清了参数的意义，就o了。public class Mapperpublic class Reducer Map是打散过程，把输入的数据，拆分成若干的键值对。Reduce是重组的，根据前面的键值对，重组数据。 自己写M...
分类：
其他好文 时间：
2014-08-01 15:34:21
阅读次数：
205
开始没搞定插件问题，就弄了个dsf操作类，后面搞定了插件问题，这玩意也就聊胜于无了，还是丢这里算了。 首先是一个配置，ztool.hadoop.propertieshadoop.home.dir=G:/hadoop/hadoop-2.4.1hadoop.user.name=hadoophado...
分类：
其他好文 时间：
2014-08-01 15:30:21
阅读次数：
240
转自：http://blog.csdn.net/linux__kernel/article/details/8271326很多人在Google上不停的找合适自己的压缩，殊不知Py的压缩很不错。可以试试。当然C#，Java的压缩也有第三方的类。Py有很多美名：数学理论强大，数据结构高级等等，关于压缩算...
分类：
编程语言 时间：
2014-08-01 15:23:01
阅读次数：
236
摘要 : 人类不知道的远远比知道的更有意义。历史永远不是线性发展，每一次跳跃前行中都有「黑天鹅」的身影。这就是「黑天鹅事件」要告诉我们的真相。上一篇文章里引用了「黑天鹅事件」这么个高贵冷艳的词汇，惹得众多读者发来讯息，让我讲讲黑天鹅的事。今天给大家简单说一点我对黑天鹅事件和大数据的认识。如果你像很多...
分类：
其他好文 时间：
2014-08-01 15:19:01
阅读次数：
190
分布式架构是中心化的设计，就是一个主控机连接多个处理节点,因此保证主控机高可用性十分关键.分布式锁是解决该问题的较好方案,多主控机抢一把锁.Zookeeper就是一套分布式锁管理系统,用于高可靠的维护元数据....
分类：
其他好文 时间：
2014-08-01 13:50:51
阅读次数：
230
因为一些缘故，这节内容到现在才写，其实弄hadoop有一段时间了，可以编写一些小程序了，今天来还是来说说环境的搭建....
说明一下：这篇文章的步骤是接上一篇的hadoop文章的：http://blog.csdn.net/enson16855/article/details/37725771 ，如果不是按照上篇的方式安装hadoop，可能会有些错误~百度一下就能解决的哈~
准备环境：
不用多...
