环境: 三台机器 ubuntu14.04 hadoop2.7.5 架构： machine101 ：名称节点、数据节点、SecondaryNaemnode、ResourceManager、NodeManger machine102、machine103 ：数据节点、NodeManger 1、安装jdk ...
分类：
其他好文 时间：
2018-03-29 21:25:24
阅读次数：
192
一、前言 在之前我们已经在 CenOS6.5 下搭建好了 Hadoop2.x 的开发环境。既然环境已经搭建好了，那么现在我们就应该来干点正事嘛！比如来一个Hadoop世界的HelloWorld，也就是WordCount程序(一个简单的单词计数程序). 二、WordCount 官方案例的运行 2.1 ...
分类：
其他好文 时间：
2018-03-19 11:40:30
阅读次数：
166
1. spark安装 $ cd /usr/local $ tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz $ mv spark-1.3.0-bin-hadoop2.4 spark $ vi ~/.bashrc $ source ~/.bashrc $ cd spark ...
分类：
其他好文 时间：
2018-03-19 11:40:23
阅读次数：
185
Hadoop架构的初略总结（2） 回顾一下前文，我们总结了以下几个方面。我们为什么需要Hadoop；Hadoop2.0生态系统的构成；Hadoop1.0中HDFS和MapReduce的结构模型。 我们大致了解了1.0，现在我们来说说2.0。 首先，我们需要理清以下几个问题： 1.Hadoop1.0自 ...
分类：
其他好文 时间：
2018-03-18 16:16:52
阅读次数：
215
hadoopo原理hadoop2.0的HA机制有两个namenode，一个是activenamenode，状态是active；另外一个是standbynamenode，状态是standby。两者的状态是可以切换的，但不能同时两个都是active状态，最多只有1个是active状态。只有activenamenode提供对外的服务，standbynamenode是不对外服务的。activenameno
分类：
其他好文 时间：
2018-03-11 19:11:09
阅读次数：
184
本文主要参考《Hadoop应用开发技术详解（作者：刘刚）》 一、工作环境 Windows7： Eclipse + JDK1.8.0 Ubuntu14.04：Hadoop2.9.0 二、准备工作——导入JAR包 1. 建一个Hadoop专用的工作空间 2. 在工作空间的目录下建一个专门用来存放开发Ma ...
本文进行操作的虚拟机是在伪分布式配置的基础上进行的，具体配置本文不再赘述，请参考本人博文：http://www.cnblogs.com/VeryGoodVeryGood/p/8507795.html 本文主要参考 给力星的博文——Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/C ...
分类：
系统相关 时间：
2018-03-05 12:52:10
阅读次数：
253
1. 安装 1.1. 下载spark安装包 下载地址spark官网：http://spark.apache.org/downloads.html 这里我们使用 spark-1.6.2-bin-hadoop2.6版本. 1.2. 规划安装目录 /opt/bigdata 1.3. 解压安装包 tar - ...
分类：
其他好文 时间：
2018-03-02 18:44:19
阅读次数：
186
1、安装CentOS 7.3操作系统mini版本即可 2、设置关闭Selinux *编辑 /etc/selinux/config vi /etc/selinux/config SELINUX=disabled *重启机器，查看selinux状态 sestatus # SELinux status: ...
分类：
其他好文 时间：
2018-02-23 14:46:11
阅读次数：
187
