本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。
（一）Hadoop伪分布安装1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系.
Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义
伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪...
分类：
编程语言 时间：
2016-06-16 14:41:00
阅读次数：
370
在Ubuntu14.04下安装Hadoop2.4.0 （单机模式）基础上配置 一、配置core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息。 编辑器中打开此文件 sudo gedit /usr/local ...
分类：
系统相关 时间：
2016-06-14 16:01:13
阅读次数：
245
Zookeeper的安装与配置（单机和伪分布式）前言
云计算越来越流行的今天，单一机器处理能力已经不能满足我们的需求，不得不采用大量的服务集群。服务集群对外提供服务的过程中，有很多的配置需要随时更新，服务间需要协调工作，这些信息如何推送到各个节点？并且保证信息的一致性和可靠性？
一. Zookeeper概念
既然要想使用Zookeeper，那么我们就要搞清楚它是什么，它是用来做什么的, 总体结...
分类：
其他好文 时间：
2016-06-12 02:45:23
阅读次数：
251
http://blog.csdn.net/pipisorry/article/details/51623195因为lz的linux系统已经安装好了很多开发环境，可能下面的步骤有遗漏。之前是在docker中配置的hadoop单机伪分布式[Hadoop：Hadoop单机伪分布式的安装和配置 ]，并且在docker只有root用户，所有没有权限问题存在。这里...
分类：
其他好文 时间：
2016-06-12 02:10:44
阅读次数：
176
在上一篇博文中我们有介绍hadoop的单机伪分布式模式的使用，那么现在我们就来看下多机完全分布式模式。1. 多主机配置1.1 对多台机器进行主机名设置用root账户使用如下命令：vim /etc/hostname分别对三台机器设置为：host1、host2、host3
1.2 配置主机映射用root账户使用如下命令：vim /etc/hosts分别配置三台机器：
host1：
host2：...
分类：
其他好文 时间：
2016-05-28 16:02:42
阅读次数：
180
使用Vmware10+Hadoop2.2.0+redHat6.3在单节点上搭建Hadoop伪分布式，流程简述。...
分类：
其他好文 时间：
2016-05-27 11:49:41
阅读次数：
299
之前稍微了解了一下大数据方面的知识，在搭建环境的时候我很惆怅的，因为那时候没有弄好，刚好这几天有时间，于是把以前没有弄好的又来配置了一下，没想到居然成功了，这个过程走了很多的弯路，查阅了网上大量资料，终于直接也来整理一下了。
hadoop是分为3种安装模式的，单机模式，伪分布模式和完全分布模式。众所周知，完全分布模式是企业真实开发用的，会需要多台电脑，这里没有条件，...
分类：
其他好文 时间：
2016-05-27 11:46:56
阅读次数：
160
1. 安装JDK a.查出当前已经安装的JDK # rpm -qa | grep java b.卸载原先自带的JDK # rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.e ...
分类：
其他好文 时间：
2016-05-24 11:54:36
阅读次数：
164
因为打算学习简单的Hadoop相关知识所以，打算尝试安装伪分布式模式，在有一定了解之后再打算学习完全分布式的相关知识。 首先 在vmware虚拟机中 安装了Linux操作系统（CentOS 64位） 安装过程为以下几个步骤： 一、配置host文件 二、建立hadoop运行账号 三、配置ssh免秘钥登 ...
分类：
其他好文 时间：
2016-05-24 06:54:54
阅读次数：
120
