0.前言本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建，以达到快速搭建的目的，从而体验Hadoop的魅力所在，为后面的继续学习提供基础环境。对使用的系统环境作如下说明：操作系统：CentOS6.564位主机IP地址：10.0.0.131/24主机名：leaf用户名：roo..
分类：
其他好文 时间：
2017-08-30 10:02:34
阅读次数：
207
一.版本1.2.1 下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 二.Hadoop三种工作模式 1.单机(Standalone Operation) 2.伪分布式(Pseudo- ...
分类：
其他好文 时间：
2017-08-27 17:11:30
阅读次数：
220
课程目录：weekend110-第1天 01-hadoop职位需求状况 02-hadoop课程安排 03-hadoop应用场景 04-hadoop对海量数据处理的解决思路 05-hadoop版本选择和伪分布式安装 06-hadoop版本选择和伪分布式安装2 07-hdfs&mapreduce测试 0 ...
分类：
其他好文 时间：
2017-08-13 16:18:07
阅读次数：
143
由于kafka依赖于zookeeper，所以这里先安装zookeeper。 安装环境 先列一下安装环境： 操作系统：centos 7.2 JDK版本：1.8.1 kafka版本：2.11-0.10.1.1 zookeeper版本：zookeeper-3.4.9 zookeeper的下载、配置、启动 ...
分类：
其他好文 时间：
2017-08-11 13:32:20
阅读次数：
1586
先上传hadoop的安装包到服务器上去/home/hpc/ 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 4.1配置hadoop--配置文件目录 /etc/hadoop/ 第一个文件：hadoop-env.sh vi hadoop-e ...
分类：
其他好文 时间：
2017-08-09 22:23:03
阅读次数：
231
Hadoop 2.x 部署 * Local Mode * Distributed Mode * 伪分布式 一台机器，运行所有的守护进程， 从节点DataNode、NodeManager * 完全分布式 有多个从节点 DataNodes NodeManagers 配置文件 $HADOOP_HOME/e ...
分类：
其他好文 时间：
2017-08-08 09:27:17
阅读次数：
171
首先先不看理论，搭建起环境之后再看； 搭建伪分布式是为了模拟环境，调试方便。 电脑是win10，用的虚拟机VMware Workstation 12 Pro，跑的Linux系统是centos6.5 ，装的hadoop2.6.0，jdk1.8； 1.准备工作 准备工作：把JDK和Hadoop安装包上传 ...
分类：
其他好文 时间：
2017-07-30 12:44:51
阅读次数：
201
Hadoop的配置过程（虚拟机中的伪分布模式），Hadoop的基本概念，SSH的原理等。 ...
分类：
其他好文 时间：
2017-07-26 00:03:55
阅读次数：
182
环境： hadoop2.6.0 jdk1.8 ubuntu 14.04 64位 1 安装scala环境 版本是scala-2.10.6，官网下载地址http://www.scala-lang.org/download/ ps：这里最好用jdk1.8配合这个scala版本，不然可能会报错，不过我看有些 ...
分类：
其他好文 时间：
2017-07-24 00:04:41
阅读次数：
252
这里就介绍CentOS的安装了，直接进入Hadoop2.2伪分布模式安装。 1.安装包下载 1.1.下载JDK1.7 眼下JDK的版本号是jdk1.8.0_25。这里下载的是jdk1.7.0_67。 下载页面：http://www.oracle.com/technetwork/java/javase ...
分类：
其他好文 时间：
2017-07-23 18:13:28
阅读次数：
188
