总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟 ...
分类：
其他好文 时间：
2016-06-05 18:50:57
阅读次数：
185
NameNode在启动的时候，需要将Mettadata加载到内存中去，随着集群扩大，元数据的量也随之增加，内存压力过大。Hadoop1.x的缺点和解决办法：单点故障------àHA一主多备内存受限-----àNNFederationHadoop节点之间的通信都是采用心跳机制。元数据放在一片共享区（主NN和备NN共享..
分类：
其他好文 时间：
2016-06-04 18:05:31
阅读次数：
270
1. 软件版本和部署maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，hibernate：4.3.6，spring：4.2.5，MySQL：5.1.34，Junit：4，Myeclipse：2014；Hadoop2.6.4，HBase1.1.2源码下载：https://github.com/fansy1990/ssh_v3/releases部署参考：http://blog...
分类：
其他好文 时间：
2016-06-04 13:40:51
阅读次数：
338
在windows下开发hadoop一直正常，但把hadoop集群升级到2.0版本以上，在eclipse下执行程序会报打不到winutils.exe的错误，这是因为hadoop2.2没有发布winutils.exe造成的。本文讲解如何在windows下开发hadoop 2程序 一、winutils的w ...
我的安装版本是spark-1.6.1-bin-hadoop2.6.tgz 这个版本必须要求jdk1.7或者1.7以上
安装spark必须要scala-2.11 版本支撑 我安装的是scala-2.11.8.tgz
tg@master:/software$ tar -zxvf scala-2.11.8.tgz
tg@master:/sof...
分类：
其他好文 时间：
2016-06-02 14:11:33
阅读次数：
214
具体目录规范，如下图 ： /opt/modules # 大型软件的安装路径 /opt/softwares # 软件源程序安装包上传路径 /opt/tools # 工具安装路径 /opt/datas #数据文件存放路径 1. maven的安装 a.在 /opt/modules目录下创建maven b. ...
分类：
其他好文 时间：
2016-05-28 01:22:22
阅读次数：
223
使用Vmware10+Hadoop2.2.0+redHat6.3在单节点上搭建Hadoop伪分布式，流程简述。...
分类：
其他好文 时间：
2016-05-27 11:49:41
阅读次数：
299
1. 软件版本 & 部署：maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，Hibernate：4.3.6，Spring：4.2.5，MySQL：5.1.34，Junit：4，Myeclipse：2014；Hadoop2.6.4，HBase1.1.2部署参考：http://blog.csdn.net/fansy1990/article/details/51356583 2...
分类：
其他好文 时间：
2016-05-25 22:29:09
阅读次数：
193
