一、环境搭建 1. 《OD大数据实战》Hadoop伪分布式环境搭建 2. 《OD大数据实战》Hive环境搭建 3. 《OD大数据实战》Flume入门实例 4. 《OD大数据实战》Kafka入门实例 5. 《OD大数据实战》Oozie环境搭建 6. 7. 《OD大数据实战》HBase环境搭建 二、 ...
分类：
其他好文 时间：
2016-08-17 10:32:16
阅读次数：
1109
前期准备1、创建hadoop相关目录(便于管理)2、给/opt/*目录赋予hadoop用户及所有组权限sudochrown-Rhadoop:hadoop/opt/*3、JDK安装与配置配置HDFS／YARN／MAMREDUCE1、解压hadooptar-zxfhadoop-2.5.0.tar.gz-C/opt/modules/
(删除doc下的帮助文档，节省空间)
rm-rf/opt/modules/..
分类：
其他好文 时间：
2016-08-14 02:07:58
阅读次数：
191
前期准备1、创建hadoop相关目录(便于管理)2、给/opt/*目录赋予hadoop用户及所有组权限sudochrown-Rhadoop:hadoop/opt/*3、JDK安装与配置配置HDFS／YARN／MAMREDUCE1、解压hadooptar-zxfhadoop-2.5.0.tar.gz-C/opt/modules/
(删除doc下的帮助文档，节省空间)
rm-rf/opt/modules/..
分类：
其他好文 时间：
2016-08-14 02:07:11
阅读次数：
189
这一节将在《Dockerfile完成Hadoop2.6的伪分布式搭建》的基础上搭建一个完全分布式的Hadoop集群。 1. 搭建集群中需要用到的文件 2. Hadoop的配置文件内容： core-site.xml文件： hdfs-site.xml文件： mapred-site.xml文件： yarn ...
分类：
其他好文 时间：
2016-08-12 21:27:10
阅读次数：
243
转发请注明本文链接 准备工作： VMware-workstation （网络统一设置为桥接） Xshell或者putty （方便在Windows下进行操作，复制粘贴命令方便，更推荐用第一个，以后不需要输入IP地址和帐号密码了） FileZilla （传输文件，端口22，使用SFTP协议） 环境为 C ...
分类：
其他好文 时间：
2016-08-12 11:35:44
阅读次数：
232
在 《Docker中搭建Hadoop-2.6单机伪分布式集群》中在容器中操作来搭建伪分布式的Hadoop集群，这一节中将主要通过Dokcerfile 来完成这项工作。 1 获取一个简单的Docker系统镜像,并建立一个容器。 1.1 这里我选择下载CentOS镜像 1.2 通过docker tag命 ...
分类：
其他好文 时间：
2016-08-07 00:48:07
阅读次数：
152
1.伪分布式hdfs文件系统的搭建（单节点文件系统） 1.1.根据上节的讲解，配置主机映射、jdk和解压hadoop压缩包 1.2.配置namenode 在/opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml中配置一下内容 <!--配置namenode ...
分类：
其他好文 时间：
2016-08-03 20:22:55
阅读次数：
262
一、搭建hadoop环境 《OD大数据实战》hadoop伪分布式环境搭建 二、hive环境搭建 1. 准备安装文件 下载地址： http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 3. 修改配置 1）修改 ...
分类：
其他好文 时间：
2016-08-01 21:00:51
阅读次数：
194
一、安装并配置Linux 8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 最终效果如下： 二、安装并配置JDK 1. 安装文件 jdk-7u67-linux-x64.tar.gz 2. 解压 3. 配置jdk 1）使用sudo配置/etc ...
分类：
其他好文 时间：
2016-08-01 17:23:08
阅读次数：
206
hadoop的简单安装部署过程为了做些实验，所以在自己笔记本电脑上装了个虚拟机，系统为CentOS6.2，JDK1.7，hadoop-1.0.1为了简单起见，部署伪分布式，即仅有一个节点，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。部署总体说..
分类：
其他好文 时间：
2016-07-20 13:45:04
阅读次数：
183
