Openstack 项目Sahara,主要是用来搭建Hadoop集群，利用虚拟出来的计算资源，高速搭建Hadoop集群。Sahara项目与OPenstack其它项目的关系：图片转自：http://docs.openstack.org/developer/sahara/overview.htmlSah...
分类：
其他好文 时间：
2015-01-26 10:02:19
阅读次数：
178
介绍这一系列博文介绍hadoop集群的部署和安装，因为hadoop确实比较复杂，所以分为几个部分来一一介绍。大致有基础篇，HA-QJM篇，Federation篇。正文一、操作环境虚拟机4台，配置基于hadoop的集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，Ip分..
分类：
系统相关 时间：
2015-01-21 20:26:44
阅读次数：
347
环境基础篇需要4台机器（一台namenode,三台datanode);HA篇需要8台机器：两台namenode(一台作activenn,另一台作standbynn)，三台datanode，三台zookeeper（也可以省去这三台，把zookeeperdaemon部署在其他机器上）。实际上还需要3台journalnode,但因为它比较轻量级，所以这里就..
分类：
系统相关 时间：
2015-01-21 20:20:32
阅读次数：
358
集群如下：HostName IP Soft Processh1 192.168.1.31 Hadoop,Hbase NameNode(Active),DFSZKFailoverController,HMaster(Active)h2 192.1...
分类：
其他好文 时间：
2015-01-20 00:54:29
阅读次数：
250
转载请注明出处：http://blog.csdn.net/tang9140/article/details/42869531
最近学习了下hadoop的安装。下面详细说明下步骤
一、环境
我的是在Linux环境下进行安装的。对于想在windows系统上学习的同学，可以采用虚拟机方式或通过cygwin模拟linux环境方式进行学习。
现在有三台服务器，分配如下：
10.0.1....
分类：
其他好文 时间：
2015-01-19 11:00:24
阅读次数：
219
作者：二青个人站点：zhangerqing.cn 邮箱：xtfggef@gmail.com 微博：http://weibo.com/xtfggef准备工具：Ubuntu 14.10 desktop 64 biteclipse 4.3 kepler jee versionhadoop 2.6.0hadoop eclipse plugin 2.6.0起初我是打算用win7做实验，后来遇到一...
分类：
编程语言 时间：
2015-01-18 10:34:55
阅读次数：
200
Ambari能够搭建、管理Hadoop集群，这是一件很酷的事情，让集群管理变的easy，但是有可能也有自己的一些需求，如果我想基于Ambari做二次开发DIY，修改一下界面，增加一些功能，添加一个模块等等，这些都是没问题，首先Ambari是基于ASF协议，其次，开发也很方便，唯一不足的是官网基于此的开发文档不多。...
分类：
其他好文 时间：
2015-01-17 11:19:05
阅读次数：
193
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。.....
分类：
其他好文 时间：
2015-01-15 18:00:34
阅读次数：
377
准备工作：1、笔记本4G内存 ，操作系统WIN72、工具VMware Workstation3、虚拟机：CentOS6.4共五台4、搭建好Hadoop集群( 方便Spark可从HDSF上读取文件，进行实验测试)实验环境：Hadoop HA集群：Iphostnamerole192.168.249.13...
分类：
其他好文 时间：
2015-01-15 12:38:41
阅读次数：
237
作者：二青邮箱：xtfggef@gmail.com 微博：http://weibo.com/xtfggef本来是想安装一个单节点的环境就好了，后来按完了总觉得不够过瘾，于是今天继续研究安装，来一个完全分布式的集群安装。用到的软件和上一篇单节点安装Hadoop一样，如下：Ubuntu 14.10 64 Bit Server EditionHadoop2.6.0JDK 1.7.0_71sshr...
分类：
编程语言 时间：
2015-01-14 21:30:16
阅读次数：
395
