windows安装hadoop没必要倒腾Cygwin，直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。下面把这几步细化贴出来，以hadoop2.7.2为例。 1、下载hadoop安装包就不细说了：http://hadoop.apache.org/->左 ...
分类：
Windows程序 时间：
2017-05-13 09:52:12
阅读次数：
1964
第一步。下载、解压、配置环境变量： 官网下载sqoop1.99.3 http://mirrors.cnnic.cn/apache/sqoop/1.99.3/ 将sqoop解压到目标文件夹，我的是 /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 配置环境变量 ...
分类：
系统相关 时间：
2017-05-11 22:35:24
阅读次数：
276
1.解压并移动到相应目录，我习惯将软件放到/opt目录下，命令如下：tar-zxvfhadoop-2.7.3.tar.gzmvhadoop-2.7.3/opt2.修改/etc/profile3.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh4.修改$HADOOP_HOME/etc/hadoop/slaves5.修改$HADOOP_HOME/etc/hadoop/core-site.xml6.修改$HAD..
分类：
其他好文 时间：
2017-05-11 14:27:07
阅读次数：
201
遇到问题：由于项目开发需要用到spark的第三方jar包，于是下载spark的jar包并引入，显示问题如下：Archiveforrequiredlibrary:‘F:/lib/spark-assembly-1.5.2-hadoop2.4.0.jar‘inproject‘project‘cannotbereadorisnotavalidZIPfileArchiveforrequiredlibrary:‘F:/lib/spark-exam..
分类：
系统相关 时间：
2017-05-10 21:59:41
阅读次数：
694
开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技 ...
分类：
其他好文 时间：
2017-05-09 13:54:08
阅读次数：
245
目录： 第一部分：操作系统准备工作： 1. 安装部署CentOS7.3 1611 2. CentOS7软件安装（net-tools, wget, vim等） 3. 更新CentOS7的Yum源，更新软件速度更快 4. CentOS 用户配置，Sudo授权 第二部分：Java环境准备 1. JDK1. ...
分类：
其他好文 时间：
2017-05-08 01:19:26
阅读次数：
561
1.环境：ubuntu、hadoop2.7.3 2.在Ubuntu下创建hadoop用户组和用户 ① 添加hadoop用户到系统用户 ② 现在只是添加了一个用户hadoop，它并不具备管理员权限，我们给hadoop用户添加权限，打开/etc/sudoers文件 命令：sudo vi /etc/sud ...
分类：
系统相关 时间：
2017-05-07 15:38:18
阅读次数：
198
准备： 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile source /etc/profile 使其立即生效 java -version 验证 二. hadoop 下载 ...
分类：
其他好文 时间：
2017-05-07 10:26:26
阅读次数：
215
本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。 一、基础环境 在Linux上安装Hadoop之前，需要先安装两个程序： 1.1 安装说明 1. JDK 1.6或更高版本（本文所提到的安装的是jdk1.7）; 2. SS ...
分类：
系统相关 时间：
2017-05-07 01:07:54
阅读次数：
299
前两天将Hadoop2的全然分布式搭建文档整理公布于网上（http://blog.csdn.net/aaronhadoop/article/details/24859369）。朋友相邀。就再将Hadoop2的伪分布式文档整理一下，搭建过Hadoop2全然分布式后，就笑对“伪分布式”说声 呵呵吧。 前 ...
分类：
其他好文 时间：
2017-05-06 13:08:19
阅读次数：
136
