当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是 ...
分类：
系统相关 时间：
2016-08-22 21:18:05
阅读次数：
278
一、Hadoop的3中运行模式 1.1、单机模式。安装简单，几乎不用作任何配置，但仅限于调试用途； 1.2、伪分布式模式。在单节点上同时启动namenode、secondary namenode、datanode、JobTracker、TaskTracker 5个进程，模拟分布式运行的各个节点。 1 ...
分类：
其他好文 时间：
2016-08-20 00:07:30
阅读次数：
142
一、环境搭建 1. 《OD大数据实战》Hadoop伪分布式环境搭建 2. 《OD大数据实战》Hive环境搭建 3. 《OD大数据实战》Flume入门实例 4. 《OD大数据实战》Kafka入门实例 5. 《OD大数据实战》Oozie环境搭建 6. 7. 《OD大数据实战》HBase环境搭建 二、 ...
分类：
其他好文 时间：
2016-08-17 10:32:16
阅读次数：
1109
前期准备1、创建hadoop相关目录(便于管理)2、给/opt/*目录赋予hadoop用户及所有组权限sudochrown-Rhadoop:hadoop/opt/*3、JDK安装与配置配置HDFS／YARN／MAMREDUCE1、解压hadooptar-zxfhadoop-2.5.0.tar.gz-C/opt/modules/
(删除doc下的帮助文档，节省空间)
rm-rf/opt/modules/..
分类：
其他好文 时间：
2016-08-14 02:07:58
阅读次数：
191
前期准备1、创建hadoop相关目录(便于管理)2、给/opt/*目录赋予hadoop用户及所有组权限sudochrown-Rhadoop:hadoop/opt/*3、JDK安装与配置配置HDFS／YARN／MAMREDUCE1、解压hadooptar-zxfhadoop-2.5.0.tar.gz-C/opt/modules/
(删除doc下的帮助文档，节省空间)
rm-rf/opt/modules/..
分类：
其他好文 时间：
2016-08-14 02:07:11
阅读次数：
189
这一节将在《Dockerfile完成Hadoop2.6的伪分布式搭建》的基础上搭建一个完全分布式的Hadoop集群。 1. 搭建集群中需要用到的文件 2. Hadoop的配置文件内容： core-site.xml文件： hdfs-site.xml文件： mapred-site.xml文件： yarn ...
分类：
其他好文 时间：
2016-08-12 21:27:10
阅读次数：
243
转发请注明本文链接 准备工作： VMware-workstation （网络统一设置为桥接） Xshell或者putty （方便在Windows下进行操作，复制粘贴命令方便，更推荐用第一个，以后不需要输入IP地址和帐号密码了） FileZilla （传输文件，端口22，使用SFTP协议） 环境为 C ...
分类：
其他好文 时间：
2016-08-12 11:35:44
阅读次数：
232
在 《Docker中搭建Hadoop-2.6单机伪分布式集群》中在容器中操作来搭建伪分布式的Hadoop集群，这一节中将主要通过Dokcerfile 来完成这项工作。 1 获取一个简单的Docker系统镜像,并建立一个容器。 1.1 这里我选择下载CentOS镜像 1.2 通过docker tag命 ...
分类：
其他好文 时间：
2016-08-07 00:48:07
阅读次数：
152
1.伪分布式hdfs文件系统的搭建（单节点文件系统） 1.1.根据上节的讲解，配置主机映射、jdk和解压hadoop压缩包 1.2.配置namenode 在/opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml中配置一下内容 <!--配置namenode ...
分类：
其他好文 时间：
2016-08-03 20:22:55
阅读次数：
262
一、搭建hadoop环境 《OD大数据实战》hadoop伪分布式环境搭建 二、hive环境搭建 1. 准备安装文件 下载地址： http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 3. 修改配置 1）修改 ...
分类：
其他好文 时间：
2016-08-01 21:00:51
阅读次数：
194
