分给我的云服务器只有2台= = 所以只用两台来搭建~多台也就是多配几个slave节点木有关系的啦~那么下来开始啦一、首先准备好编译过的hadoop2.6版本,以及相关jar包~准备开始搞啊~解压命令是 tar zxvf xxxxxxx(文件名)创建tmp路径 用于hadoop相关路径mkdir tm...
分类：
其他好文 时间：
2015-10-31 15:39:02
阅读次数：
462
当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。在坏死的节点上输入如下命令即可：hadoop-daemon.shstartdatanodehadoop-daemon.shstartsecondarynamenode案例如下：hadoop节点死机，能ping通，ssh连接不上案例：时间：2..
分类：
系统相关 时间：
2015-10-31 01:43:20
阅读次数：
362
一、 fsiamges文件通常是整个集群的元数据信息。每次对它的修改很好内存，io。 所以引入了edits 文件。存放每次对元数据修改的记录，并通过Secondary Namenode定期的合并。 二、过程 1.Secondary Namenode请求edi...
分类：
其他好文 时间：
2015-10-19 12:58:36
阅读次数：
336
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，IntellijIDEASpark开发环境搭建,SparkShell的使用等。2.Spark运行原理。内容包括spark脚本文件解析、Spark几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark任务调度等。3.Spark编程模型，介绍Spark编程模..
分类：
其他好文 时间：
2015-10-13 12:22:05
阅读次数：
242
注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意#####...
分类：
其他好文 时间：
2015-10-04 15:49:48
阅读次数：
325
1、准备安装 ? 1.1 系统简介 CentOS 是什么？ ? CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）...
分类：
其他好文 时间：
2015-10-02 20:05:37
阅读次数：
246
Hadoop集群安装配置文档 日期 内容 修订人 2015.6.3 文档初始化 易新 目录 1 文档概要... 5 1.1软件版本... 5 1.2机器配置... 5 2 虚拟机配置... 5 2.1新建虚拟机... 5 2.2虚拟网络配置... 8 3 CentOS安装及配置... 9 3.1系统...
分类：
其他好文 时间：
2015-09-30 12:50:49
阅读次数：
451
1.环境准备: 安装Centos6.5的操作系统 下载hadoop2.7文件 下载jdk1.8文件2.修改/etc/hosts文件及配置互信: 在/etc/hosts文件中增加如下内容: 192.168.1.61host61 192.168.1.62host62 192.168.1.63host63 配置好各服务器之间的ssh互信3.添加用户,解压文件并配置环境变量: us..
分类：
其他好文 时间：
2015-09-30 01:05:37
阅读次数：
225
鉴于最近在研究Hadoop编程时，为考虑编程的方便，在Windows本地编译源程序，然后直接访问Hadoop集群，这样给广大编程人员提供了极大的便利。在这个过程中积累了一些实际经验，并针对在该过程中（初级阶段）可能会遇到的问题，提供一些解决方案，希望对大家有所帮助。
Mahout 的安装Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop，Mahout只在Hadoop集群的NameNode节点上安装一个即可，其他数据节点上不需要安装1.下载2.配置环境变量3.mahout --help检查Mahout是否安装完好，看是否列出了一些...
分类：
其他好文 时间：
2015-09-29 20:23:42
阅读次数：
134
