从该原理图中可以知道：在hadoop2的版本中：resource manager也就是YARNz是只负责资源的调度和回收而不参与应用程序的内部运作机制与运算，而在hadoop1的版本中，resourc manager不但要负责资源的调度和回收还要参与具体的运算。 在hadoop2中resouce m ...
分类：
其他好文 时间：
2019-01-13 20:02:57
阅读次数：
210
1.为什么要搭建HA？??在hadoop2.x之前，在HDFS集群中NameNode存在单点故障(SPOF：ASinglePointofFailure)。对于只有一个NameNode的集群，如果NameNode机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，必须等到NameNode重新启动，之后才能对外提供服务，这个方式在生成环境中是绝对不允许出现的。&em
分类：
其他好文 时间：
2019-01-11 14:14:19
阅读次数：
232
注意先起动第一台 由于没有选举结果 status显示报错 立即启动第二台，则第一台，第二台 ｓｔａｔｕｓ不报错 再启动第三台 4.1 分布式安装部署 0）集群规划 在hadoop2、hadoop3和hadoop4三个节点上部署Zookeeper。 1）解压安装 （1）解压zookeeper安装包到/ ...
分类：
其他好文 时间：
2019-01-04 12:16:18
阅读次数：
173
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linu... ...
分类：
其他好文 时间：
2019-01-02 23:21:16
阅读次数：
224
分布式集群搭建：http://blog.51cto.com/14048416/2327802?上面试spark普通的分布式集群搭建，存在master节点的单点故障问题。Hadoop2.x开始，已经使用zookeeper解决了单点故障。同样的策略，spark也利用了zookeeper解决了spark集群的单点故障问题。1.集群的规划（这里使用3台机器测试）2.具体搭建步骤：①如果已经使用，
分类：
其他好文 时间：
2019-01-02 12:28:31
阅读次数：
232
一、yarn简介 yarn是在hadoop2.x中才引入的一个新的机制，在hadoop1.x中MapReduce任务需要同时做任务管理和资源分配，那么引入yarn之后，hadoop的资源管理的任务就全部交给yarn来处理，从而实现存储、任务、资源的分离。 二、yarn的主要角色 1.Resource ...
分类：
其他好文 时间：
2019-01-01 21:44:24
阅读次数：
240
[TOC] 前言 操作系统win10 安装时间2018年12月 java版本jdk1.8.0_191 hadoop版本hadoop 2.8.5 spark版本spark 2.3.1 bin hadoop2.7 Java安装 方法一 下载 "JDK 8 网址" ,如下图所示: 这时有两种JDK可以选择 ...
分类：
编程语言 时间：
2018-12-31 15:49:39
阅读次数：
360
[hadoop@localhost mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /home/hadoop/data/input/sp.txt /home/hadoop/data/output/sp_2018... ...
分类：
其他好文 时间：
2018-12-25 20:20:15
阅读次数：
218
一. HA概述 1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。 2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SP ...
分类：
其他好文 时间：
2018-12-16 14:33:19
阅读次数：
158
