Ubuntu16.04安装Hadoop2.7.3 教程参考厦门大学数据库实验室 http://dblab.xmu.edu.cn/blog/install-hadoop/，遇到相关的地方有改动。作者：秦...
分类：
系统相关 时间：
2017-04-25 19:16:45
阅读次数：
288
一、前期准备工作： 1.安装包的准备： VMware(10.0版本以上) : 官方网站：https://www.vmware.com/cn.html 官方下载地址：http://www.vmware.com/products/player/playerpro-evaluation.html 10.0 ...
分类：
其他好文 时间：
2017-04-24 21:06:08
阅读次数：
510
1、Hadoop 项目的四大模块 Hadoop Common: The common utilities that support the other Hadoop modules.Hadoop Distributed File System (HDFS?): A distributed file ...
分类：
其他好文 时间：
2017-04-23 20:11:07
阅读次数：
222
hadoop3与hadoop2.x的变化很大，hadoop3很多东西现在做起来太麻烦了，这里先安装hadoop2.7.3 此贴学习地址http://www.yiibai.com/t/mapreduce/article-14.html，不过有些改动 1.下载解压hadoop包 wget http:// ...
分类：
其他好文 时间：
2017-04-20 10:27:24
阅读次数：
220
Hadoop版本Hadoop有两个主要版本，Hadoop1.x.y和Hadoop2.x.y系列.1.x.y大数公司已经更新Hadoop2.x版本，本教程均可适用.基本环境:Centos6.5jdk1.7.0_67hadoop2.5.1一、配置jdk1)下载jdk版本本教程试用jdk-7u67-linux-x64.war.gz2)创建解压目录mkdir/usr/local/java3)移动jdk到/..
分类：
其他好文 时间：
2017-04-18 20:10:31
阅读次数：
188
折腾了大半个晚上最终部署成功了，比在Linux上面略微复杂一点，具体过程例如以下： 1) jdk、ant、hadoop环境变量配置 2) 分别将hadoop-2.5.2.tar.gz、hadoop-2.5.2-src.tar.gz、hadoop2x-eclipse-plugin、hadoop-com ...
安装spark包 修改spark-env.sh文件 修改slaves文件 spark1 spark2 spark3 安装spark集群 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。 启动spark集群 ...
分类：
其他好文 时间：
2017-04-17 10:05:24
阅读次数：
221
MapReduce是Hadoop2.x的一个计算框架，利用分治的思想，将一个计算量很大的作业分给很多个任务，每个任务完成其中的一小部分，然后再将结果合并到一起。将任务分开处理的过程为map阶段，将每个小任务的结果合并到一起的过程为reduce阶段。下面先从宏观上介绍一下客户端提交一个作业时，Hado ...
分类：
其他好文 时间：
2017-04-16 17:51:16
阅读次数：
179
Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。） 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs... ...
分类：
其他好文 时间：
2017-04-15 18:26:10
阅读次数：
123
(一）软件准备 1，hadoop-2.7.3.tar.gz（包） 2,三台机器装有cetos7的机子 （二）安装步骤 1，给每台机子配相同的用户 进入root : su root > 创建用户s: useradd s > 修改用户密码：passwd s 2.关闭防火墙及修改每台机的hosts(roo ...
分类：
其他好文 时间：
2017-04-13 20:00:34
阅读次数：
198
