1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到window ...
分类:
其他好文 时间:
2016-10-27 17:04:12
阅读次数:
229
本文的配置环境是VMware10+centos2.5。 在学习大数据过程中,首先是要搭建环境,通过实验,在这里简短粘贴书写关于自己搭建大数据伪分布式环境的经验。 如果感觉有问题,欢迎咨询评论。 一:伪分布式准备工作 1.规划目录 2.修改目录所有者和所属组 3.删除原有的jdk 4.上传需要的jdk ...
分类:
系统相关 时间:
2016-09-15 12:24:34
阅读次数:
246
Hadoop伪分布式环境搭建: 自动部署脚本: 运行脚本: ...
分类:
其他好文 时间:
2016-09-01 12:49:59
阅读次数:
188
一、环境搭建 1. 《OD大数据实战》Hadoop伪分布式环境搭建 2. 《OD大数据实战》Hive环境搭建 3. 《OD大数据实战》Flume入门实例 4. 《OD大数据实战》Kafka入门实例 5. 《OD大数据实战》Oozie环境搭建 6. 7. 《OD大数据实战》HBase环境搭建 二、 ...
分类:
其他好文 时间:
2016-08-17 10:32:16
阅读次数:
1109
前期准备1、创建hadoop相关目录(便于管理)2、给/opt/*目录赋予hadoop用户及所有组权限sudochrown-Rhadoop:hadoop/opt/*3、JDK安装与配置配置HDFS/YARN/MAMREDUCE1、解压hadooptar-zxfhadoop-2.5.0.tar.gz-C/opt/modules/
(删除doc下的帮助文档,节省空间)
rm-rf/opt/modules/..
分类:
其他好文 时间:
2016-08-14 02:07:11
阅读次数:
189
一、搭建hadoop环境 《OD大数据实战》hadoop伪分布式环境搭建 二、hive环境搭建 1. 准备安装文件 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 3. 修改配置 1)修改 ...
分类:
其他好文 时间:
2016-08-01 21:00:51
阅读次数:
194
一、安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 最终效果如下: 二、安装并配置JDK 1. 安装文件 jdk-7u67-linux-x64.tar.gz 2. 解压 3. 配置jdk 1)使用sudo配置/etc ...
分类:
其他好文 时间:
2016-08-01 17:23:08
阅读次数:
206
Hadoop 2.x伪分布式环境搭建步骤: 1、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh 方法:使用notepad++(beifeng用户)代开这三个文件 添加代码:export JAVA_HOME=/opt/modules/jdk1.7.0_67 2、修改 ...
分类:
其他好文 时间:
2016-05-07 23:41:36
阅读次数:
175
1、准备三台机器,master、slave01、slave02 1.1 最小化安装centos6.5 1.2 安装ssh,yum -y install openssh-clients 1.3 三台机器上创建hadoop用户组及hadoop用户 groupadd hadoop 添加一个组 userad
分类:
其他好文 时间:
2016-03-07 19:18:32
阅读次数:
137