Hadoop集群的配置即完全分布式Hadoop配置。本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经可以安装伪分布式的Hadoop了。如果你的系统还不能安装伪分布式Hadoop，请参考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完成配置。...
分类：
其他好文 时间：
2015-07-24 20:51:33
阅读次数：
142
前期已经完成了hadoop全分布模式的部署和运行，近期想更进一步的了解hadoop原理，基于hadoop2.X的书籍最好的莫过于《hadoop权威指南(第四版)》，很可惜作者年初才刚写完，没来得及翻译，只好看英文版了，书中的要点重点在接下来的一段时间我会依次翻译出来（全部翻译不太现实，没那么多时间精力，将近900页呢），如果有翻译不妥的地方，还请大家指出来，共同进步，谢谢！
今天是个开头，就先翻...
分类：
其他好文 时间：
2015-07-22 13:04:27
阅读次数：
97
我的Spark机群是部署在Yarn上的，因为之前Yarn的部署只是简单的完全分布式，但是后来升级到HA模式，一个主NN，一个备NN，那么Spark HistoryServer的配置也需要相应的做修改，因为不做修改会报错Exception in thread "main" java.lang.refl...
分类：
其他好文 时间：
2015-07-18 10:44:42
阅读次数：
402
继续上文，接着进行介绍2.2编辑hadoop-env.sh由于Hadoop是基于java编写的，所以需要在hadoop-env.sh里设置JDK路径。首先打开/etc/hadoop/hadoop-env.sh文件。找到JAVA_HOME变量，将其修改为export JAVA_HOME=/usr/li...
分类：
系统相关 时间：
2015-07-08 12:39:28
阅读次数：
169
Hadoop平台搭建有三种模式，分别是单机模式、伪分布模式、完全分布模式。单机模式是在单一计算机或者服务器上运行Hadoop，没有分布式的文件上传和任务分配等功能。它执行的流程仍然是Map/Reduce，但是是文件和程序都在本机上，可以看成只有一个节点的Hadoop平台。伪分布模式也是单一计算机.....
分类：
系统相关 时间：
2015-07-08 12:25:53
阅读次数：
173
之前在公司里维护了一个名字服务，这个名字服务日常管理了近4000台机器，有4000个左右的客户端连接上来获取机器信息，由于其基本是一个单点服务，所以某些模块接近瓶颈。后来倒是有重构计划，详细设计做了，代码都写了一部分，结果由于某些原因重构就被终止了。JCM是我业余时间用Java重写的一个版本，功能上目前只实现了基础功能。由于它是个完全分布式的架构，所以理论上可以横向扩展，大大增强系统的服务能力。名字...
分类：
其他好文 时间：
2015-07-04 18:28:02
阅读次数：
195
ZooKeeper 3.5.0 分布式配置问题 ZooKeeper 3.4.6 完全分布式安装与配置
分类：
其他好文 时间：
2015-07-03 00:02:29
阅读次数：
726
安装Mahout之前，一定要把hadoop装好，hadoop的安装方法可以参考我的前一篇随笔，我安装的是hadoop2.7.0，具体方法在此不做介绍。1.首先下载相应版本的Mahout:axel -n 10 http://archive.apache.org/dist/mahout/0.9/maho...
分类：
其他好文 时间：
2015-06-30 20:05:53
阅读次数：
220
异常报错1、ssh配置出错，ssh登录 The authenticity of host 192.168.0.xxx can’t be established.用ssh登录一个机器（换过ip地址），提示输入yes后，屏幕不断出现y，只有按ctrl + c结束错误是：The authenticity of host 192.168.0.xxx can’t be established.以前和同事碰到过...
分类：
其他好文 时间：
2015-06-28 12:51:39
阅读次数：
511
基于虚拟机的Hadoop集群安装1、我们需要的软件Xshell， ssh secure, 虚拟机，Linux centos64， Hadoop1.2.1的安装包2、安装以上软件3、安装Linux，此处不多做阐述4、首先安装jdk我的路径是JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
PATH=PATH:PATH:JAVA_HOME/bin
CLASSPATH=JAVAHO...
分类：
其他好文 时间：
2015-06-28 12:50:45
阅读次数：
132
