zookeeper是一个为分布式应用所设计的分布式的、开源的调度服务，它主要用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用，协调及其管理的难度，提高性能的分布式服务。 本章的目的：如何安装zookeeper（在win7环境下），zookeeper下载https://mirrors.c ...
一、实验目的 了解Hadoop的MapeReduce工作原理 二、实验内容 实现基于单机的伪分布式运行模拟 三、实验需要准备的软件和源 1、Jdk1.6以上 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html ...
分类：
其他好文 时间：
2017-09-08 21:45:15
阅读次数：
265
一、概述1.实验使用的Hadoop集群为伪分布式模式，eclipse相关配置已完成；2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。二、使用eclipse连接hadoop集群进行开发1.在开发主机上配置hadoop①将hadoop-2.7.3.tar.gz解压到本地主机上②使用windows版本的hadoop中的bi..
分类：
系统相关 时间：
2017-09-07 14:48:47
阅读次数：
209
0.前言前面一篇《Hadoop初体验：快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境，现在就使用Hadoop自带的wordcount程序来做单词统计的案例。1.使用示例程序实现单词统计（1）wordcount程序wordcount程序在hadoop的share目录下，如下：[root@leafmapreduce]#pwd
/usr/loca..
分类：
其他好文 时间：
2017-09-03 23:54:37
阅读次数：
229
配置 ubuntu14.04 伪分布式 hadoop1.04 wordcount入门程序， 摘自hadoop基础教程 ...
分类：
其他好文 时间：
2017-09-01 23:07:11
阅读次数：
124
0.前言本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建，以达到快速搭建的目的，从而体验Hadoop的魅力所在，为后面的继续学习提供基础环境。对使用的系统环境作如下说明：操作系统：CentOS6.564位主机IP地址：10.0.0.131/24主机名：leaf用户名：roo..
分类：
其他好文 时间：
2017-08-30 10:02:34
阅读次数：
207
一.版本1.2.1 下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 二.Hadoop三种工作模式 1.单机(Standalone Operation) 2.伪分布式(Pseudo- ...
分类：
其他好文 时间：
2017-08-27 17:11:30
阅读次数：
220
课程目录：weekend110-第1天 01-hadoop职位需求状况 02-hadoop课程安排 03-hadoop应用场景 04-hadoop对海量数据处理的解决思路 05-hadoop版本选择和伪分布式安装 06-hadoop版本选择和伪分布式安装2 07-hdfs&mapreduce测试 0 ...
分类：
其他好文 时间：
2017-08-13 16:18:07
阅读次数：
143
由于kafka依赖于zookeeper，所以这里先安装zookeeper。 安装环境 先列一下安装环境： 操作系统：centos 7.2 JDK版本：1.8.1 kafka版本：2.11-0.10.1.1 zookeeper版本：zookeeper-3.4.9 zookeeper的下载、配置、启动 ...
分类：
其他好文 时间：
2017-08-11 13:32:20
阅读次数：
1586
先上传hadoop的安装包到服务器上去/home/hpc/ 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 4.1配置hadoop--配置文件目录 /etc/hadoop/ 第一个文件：hadoop-env.sh vi hadoop-e ...
分类：
其他好文 时间：
2017-08-09 22:23:03
阅读次数：
231
