三节点hadoop集群搭建教程 一、 安装VMware虚拟机 二、 创建第一个Linux虚拟机节点,本机使用的centOS7.6 64位版本 三、 创建2个克隆节点 四、 3节点都关闭防火墙 命令:systemctl stop firewalld 关闭后查看防火墙状态确认是否关闭成功:systemc ...
分类:
其他好文 时间:
2019-10-04 15:23:10
阅读次数:
110
Debian系统配置 我这里在Vmware里面虚拟4个Debian系统,一个master,三个solver。hostname分别是 master、solver1、solver2、solver3 。对了,下面的JDK和hadoop安装配置操作都是使用 hadoop用户权限 来执行,并非root权限。 ...
分类:
其他好文 时间:
2019-08-25 21:40:52
阅读次数:
182
搭建环境安装时间同步Yum install -y ntpdate 网络时间同步命了 服务器地址是阿里云ntpdate ntp1.aliyun.com 手动时间同步方式date -s "20190622 12:32:00" #yyyymmdd hh:mm:ss完全分布式服务器namenodesecon ...
分类:
其他好文 时间:
2019-07-22 18:36:25
阅读次数:
133
学习搭建方法,搭建3台机器 使用安装包: 将上一篇Linux搭建的虚拟机作为主节点 1.将主节点挂起/关闭,找到主节点所在目录 2.复制2个主节点文件夹并改名slave1和slave2 3.在虚拟机中加载新建的两个文件夹作为新的虚拟机并运行和重命名 4.slave1 → su → cd /etc/s ...
分类:
其他好文 时间:
2019-07-06 00:19:35
阅读次数:
81
使用腾讯云主机,docker构建集群测试环境。 环境 1、操作系统: CentOS 7.2 64位 网路设置 hostname | IP | cluster master | 172.18.0.2 cluster slave1 | 172.18.0.3 cluster slave2 | 172.18 ...
分类:
其他好文 时间:
2019-06-04 19:23:34
阅读次数:
82
一、发行版本 ? Hadoop发行版本分为开源 社区版 和 商业版 ,社区版是指由Apache软件基金会维护的版本,是官方维护的版本体系。商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本,比较著名的有cloudera的CDH、 ...
分类:
其他好文 时间:
2019-04-14 16:33:00
阅读次数:
168
首先安装好一台CentOS6.9-64位机器 并安装jdk1.8的64位版本,这些基础步骤都很简单,百度即可 然后克隆三台,也就是总共四台虚拟机 第一台的网络配置是没有问题的,但是第二台需要进行配置: 网卡冲突问题解决: vi /etc/udev/rules.d/70-persistent-net. ...
分类:
其他好文 时间:
2019-03-15 19:31:36
阅读次数:
154
hadoop集群搭建前的准备(一定要读):http://blog.51cto.com/14048416/2341450hadoop分布式集群搭建:1.集群规划:2.具体步骤:(1)上传安装包,并解压到相关目录:[hadoop@hadoop01home]$putc:/hadoop-2.6.5-centos-6.7.tar.gz[hadoop@hadoop01home]$tar-zxvfhadoop-
分类:
其他好文 时间:
2019-01-11 14:18:29
阅读次数:
217
1.修改主机名:[root@localhosthome]#sudovi/etc/sysconfig/network修改主机名:2.设置系统默认启动级别:[root@localhosthome]#vi/etc/inittab改默认启动级别,3是多用户模式,并且不启动图形界面3.配置hadoop用户sudoer权限:这里使用普通用户hadoop,对Linux进行操作:创建hadoop用户:[root@
分类:
其他好文 时间:
2019-01-11 12:11:24
阅读次数:
222