Zookeeper安装 cd /opt/ tar -zxvf zookeeper-3.4.10.tar.gzmv zookeeper-3.4.10 /opt/zookeeper修改配置文件cd /opt zookeeper-3.4.10/conf/cp zoo_sample.cfg zoo.cfgv ...
分类：
其他好文 时间：
2018-08-27 15:28:56
阅读次数：
171
第一部分：准备Linux环境创建虚拟机安装系统的步骤在这里就不讲了，详细步骤请看本人其他文章打开建好的虚拟机一、修改Hostname1、临时修改hostnamehostnamebigdata-01.liu.com这种修改方式，系统重启后就会失效2、永久修改hostnamevim/etc/sysconfig/network打开后编辑如下内容NETWORKING=yes#使用网络HOSTNAME=bi
分类：
其他好文 时间：
2018-08-27 00:20:50
阅读次数：
224
概述一下，hadoop集群，用mac当master，vm里两个centos当slave，单独配置都没问题，但是启动集群，报错： 原因在于mac 的家目录是Users/***，而centos是home/***，集群中路径配置是不同的（用户名我已经特意改成了相同的，不然ssh免密登陆会麻烦） 查了一下， ...
分类：
其他好文 时间：
2018-08-25 18:49:07
阅读次数：
162
假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下： 下面我们来介绍启动hdfs和yarn的一些命令。 1.启动hdfs集群（使用hadoop的批量启动脚本） 从上面的启动日志可以看出，start-dfs ...
分类：
其他好文 时间：
2018-08-25 17:34:00
阅读次数：
193
一、安装集群 A、上传HADOOP安装包 B、规划安装目录 /export/servers/hadoop-2.8.4 C、解压安装包 D、修改配置文件 $HADOOP_HOME/etc/hadoop/ 1、hadoop-env.sh export JAVA_HOME=/export/servers/ ...
分类：
其他好文 时间：
2018-08-23 14:14:01
阅读次数：
199
自己整理了一下Hadoop集群简易搭建的过程，感谢尚观科技贾老师的授课和指导！ 基本环境要求：能联网电脑一台；装有Centos系统的VMware虚拟机；Xmanager Enterprise 5软件。 ?规划集群的ip地址：（计划） 10.10.10.31-->uplooking01 10.10.1 ...
分类：
其他好文 时间：
2018-08-22 16:44:42
阅读次数：
229
默认当前位置是hadoop安装包位置 jar包：share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar 一 前置准备 因为这个需要hdfs中的文件，需要掌握基本的hdfs命令 hdfs当前默认位置是在user/当前用户 文件夹 ，有些版本 ...
分类：
其他好文 时间：
2018-08-21 16:04:41
阅读次数：
277
Zookeeper 每一个专业的技术总可以在生活中找到相应的实例，就比如说zookeeper，攘其外必先安其内就很好的解释了zookeeper，Hadoop集群的组件中的很多在学习的时候都会觉得每一个都不稳定，都会出现这样那样的问题，会常常听到的一个词语就是高可用，在zookeeper的官方定义的时 ...
分类：
其他好文 时间：
2018-08-21 10:45:31
阅读次数：
170
接下来开始真正意义上的集群搭建 Tip：hadoop集群搭建完以后，最好要格式化：hadoop namenode -format; HDFS集群是否启动成功，看这两个进程：namenode/datanode; Yarn集群是否启动成功，看这两个进程：Resourcemanager/Namemanag ...
分类：
其他好文 时间：
2018-08-20 17:56:40
阅读次数：
193
Linux环境设置/*安装Hadoop集群时要确保以下几个方面1.本机与虚拟机之间是否可以通信（Ping）。如果不行检查下面 1.1本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机） 1.2虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法） 1.3虚拟机设置--网 ...
分类：
其他好文 时间：
2018-08-16 17:41:39
阅读次数：
205
