当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是 ...
分类：
系统相关 时间：
2016-08-22 21:18:05
阅读次数：
278
体系结构 从上图可以看出NameNode节点:在Hadoop1.x的版本中，NameNode节点只有一个，所以NameNode节点为非HA的(不是高可用的,后面会详细讨论)。在Hadoop2.X的版本中，NameNode节点可以有很多个。所以在Hadoop2.x的版本中，NameNode节点是HA的 ...
分类：
其他好文 时间：
2016-08-19 18:44:03
阅读次数：
175
问题导读：1.如何通过官网src包，获取hadoop的全部代码2.通过什么样的操作，可以查看hadoop某个函数或则类的实现？3.maven的作用是什么？我们如果想搞开发，研究源码对我们的帮助很大。不明白原理就如同黑盒子，遇到问题，我们也摸不着思路。所以这里交给大家一.如何获取源码二.如何关联源码一 ...
分类：
系统相关 时间：
2016-08-17 13:53:08
阅读次数：
271
问题导读：1.官网src包下载包，能否直接使用？2.如何跟踪和查看hadoop源码？此篇是从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码基础上的一个继续，上文其实已经把源代码下载下来了。下载之后，我们如何查看源码代码。我们还是通过eclipse的导入功能，这里简 ...
分类：
系统相关 时间：
2016-08-17 13:45:33
阅读次数：
162
一．简介 Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse 上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码，所以我们自己编译一个 Eclipse插件，方便我们在我们本地上调试，经过hadoop1.x ...
分类：
系统相关 时间：
2016-08-15 12:59:58
阅读次数：
288
这一节将在《Dockerfile完成Hadoop2.6的伪分布式搭建》的基础上搭建一个完全分布式的Hadoop集群。 1. 搭建集群中需要用到的文件 2. Hadoop的配置文件内容： core-site.xml文件： hdfs-site.xml文件： mapred-site.xml文件： yarn ...
分类：
其他好文 时间：
2016-08-12 21:27:10
阅读次数：
243
1.配置分布式hadoop 1.1 准备三台测试机（虚拟机就可以） 1.1.1 将life-hadoop虚拟机克隆2个分别为life-hadoop02和life-hadoop03 1.1.2 查看ip地址，并进行主机名映射为life-hadoop02.life.com和life-hadoop03.l ...
分类：
其他好文 时间：
2016-08-12 17:54:10
阅读次数：
184
在http://www.cnblogs.com/wuyushen/p/5764194.html遇到的问题，Centos6.5不能载入库的问题，看一下在CentOS 7.2 X64的系统下能否成功。 顺便简单写下安装方法。 一、增加用户，但是下面操作依旧是root用户 groupadd hadoop ...
分类：
其他好文 时间：
2016-08-12 13:15:10
阅读次数：
173
社区hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述NameNode HA内部的设计与实现。 原文见 http://xiguada.org/namenode-ha-principle/ 为什么要Namenode HA？ 1.NameNode High Avai ...
分类：
其他好文 时间：
2016-08-11 22:40:41
阅读次数：
223
我尝试着在classpath中加n入mysql的驱动仍不行解决方法：在启动的时候加入参数--driver-class中加入mysql 驱动 [hadoop@master spark-1.0.1-bin-hadoop2]$ bin/spark-shell --driver-class-path lib ...
分类：
数据库 时间：
2016-08-10 12:31:34
阅读次数：
242
