一.从hadoop 下载2.7.3 安装包版本:hadoop-2.7.3.tar.gz下载地址:www.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz百度云下载地址:http://pan.baidu.com/s/1pLOy... ...
分类:
其他好文 时间:
2016-11-25 20:41:49
阅读次数:
222
一.安装CentOS7CentOS-7-x86_64-DVD-1511.iso下载地址:http://vault.centos.org/省略CentOS7安装部分1.1 查看版本:1.2 网络配置主机名IPhadoop0192.168.1.111hadoop1192.168.1.112hadoop2... ...
分类:
其他好文 时间:
2016-11-25 19:46:17
阅读次数:
292
一、环境准备jdk1.8+hadoop2.xmysql5.x安装之前请确保以上环境已准备完毕二、安装1.下载并解压进入解压之后的目录,使用当前路径配置HIVE_HOME2.进入安装目录下conf目录vimhive-site.xml加入以下配置<?xmlversion="1.0"encoding="UTF-8"standalone="no"?>
<?xml-style..
分类:
数据库 时间:
2016-11-21 23:52:33
阅读次数:
394
3.1上传hadoop安装包 3.2解压hadoop安装包 mkdir /cloud #解压到/cloud/目录下 tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/ 3.3修改配置文件(5个) 第一个:hadoop-env.sh #在27行修改 export JAVA ...
分类:
其他好文 时间:
2016-11-19 03:24:15
阅读次数:
181
1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共 ...
分类:
系统相关 时间:
2016-11-19 03:23:41
阅读次数:
281
2.1上传 2.2解压jdk #创建文件夹 mkdir /usr/java #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/ 2.3将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HO ...
分类:
其他好文 时间:
2016-11-19 03:14:21
阅读次数:
199
上篇文章中讲完了如何配置免密码登录的问题,现在讲述下,三个节点的环境配置过程。所需要的hadoop-2.7.3.tar.gz、jdk-7u79-linux-x64.tar.gz、scala-2.11.6.tgz、spark-2.0.1-bin-hadoop2.7.tgz可以点击这里获取,资源存放在百度云盘。首先需要在三个节点中分别创建spark目录m..
分类:
其他好文 时间:
2016-11-18 07:59:15
阅读次数:
379
本文搭建环境为:Mac + Parallel Desktop + CentOS7 + JDK7 + Hadoop2.6 + Scala2.10.4—————————————————————————————————————————————————— 一、CentOS安装 ■ 安装完成后记得保存快照。 ...
分类:
其他好文 时间:
2016-11-17 10:33:02
阅读次数:
616
一、Scala安装 下载目录http://www.scala-lang.org/download/ 修改/etc/profile。 然后测试 二、安装Spark 官网下载地址:http://spark.apache.org/downloads.html 需要下载预编译版本 我当时直接从花圈的地方复制 ...
分类:
其他好文 时间:
2016-11-17 08:00:54
阅读次数:
422
注:其中也参考了网上的许多教程,但很多网上的教程在配置过程中,会出很多错误,在解决的过程中,做出了总结。此文是针对小白。如有不对,请大神们指教。。。。配置环境系统:Ubuntu16.04配置版本分别为:hadooop2.7.3、java"1.7.0_79"、Scala2.11.6、spark-2.0.1-bin-hadoop2..
分类:
其他好文 时间:
2016-11-17 02:33:03
阅读次数:
362