YARN产生背景 单点故障 节点压力大 不易扩展 单点故障 节点压力大 MapReduce1.x时的架构如下： 可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多个TaskTracker。 JobTracker：负责资源管理和作业调度TaskT ...
分类：
其他好文 时间：
2018-05-09 19:27:14
阅读次数：
202
Hadoop集群搭建 发行版本集群简介HDFS集群负责海量数据的存储YARN集群负责海量数据运算时的资源调度MapReduceHadoop部署方式分类集群按以上分布的原因具体搭建步骤搭建前准备1.准备Linux环境1.0 配置好各虚拟机的网络（采用NAT联网模式）1.1修改各个虚拟机主机名1.2修改... ...
分类：
其他好文 时间：
2018-05-09 12:06:57
阅读次数：
176
1. 概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台；而MapReduce等运算程序则相当运行于操作系统之上的应用程序。 2. YARN的重要概念 1、yarn并不清楚用户提交的程序的运行机制；2、yarn只提供运算资源的调度(用户程序向yarn申 ...
分类：
其他好文 时间：
2018-04-30 12:02:55
阅读次数：
135
分布式调度两大任务： 任务调度：大量计算任务、任务如何切分、数据如何分割、运算、监控运算状态。 资源调度 1、任务调度 2、资源调度 3、容错机制 4、规模挑战 5、安全与性能隔离 6、分布式调度发展方向 在VLDB 2014 Fuxi论文 http://www.vldb.org/pvldb/vol ...
分类：
其他好文 时间：
2018-04-22 18:14:00
阅读次数：
168
关于K8S：Kubernetes是Google开源的容器集群管理系统。它构建于docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩 容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。相信看过我博客的童鞋应该知道，我在14年的时候就发表了一篇名为Docker容器管理之Kubernetes当时国内Docker刚刚兴起，对于Docker的兴起我很有感触，仿佛一瞬
分类：
Web程序 时间：
2018-04-10 15:24:19
阅读次数：
1939
Hadoop的两大功能：海量数据存储和海量数据分析 Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn 1、HDFS：分布式文件系统海量数据存储 2、MapperReducer：运算框架，海量数据分析 3、yarn：资源调度管理集群 HDFS工作机制：基于namenode ...
分类：
其他好文 时间：
2018-04-07 12:51:32
阅读次数：
115
高可用性 故障分类：ESX主机 虚拟机（主机通过vmtools监控） 应用程序（基本不用6.0新增了这一功能） 高可用的信号检测目前可分为两种 一、网络信号 二、存储信号 新建群集 上图的自定义是配置完成后再编辑配置时才会有。 将主机拖入群集即可 关于报警 一、 两个或多个主机做HA，需要存储系统提 ...
分类：
其他好文 时间：
2018-04-03 14:36:14
阅读次数：
576
SOA框架的优点： 当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。用于提高机器利用率的 资源调度和治理中心(SOA) 是关键。 SSM框架链接（http://www.cnblogs.com/zandz/p/863116 ...
分类：
其他好文 时间：
2018-04-01 23:06:23
阅读次数：
488
MapReduce是什么 首先让我们来重温一下 hadoop 的四大组件： HDFS：分布式存储系统 MapReduce：分布式计算系统 YARN：hadoop 的资源调度系统 Common：以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 MapReduce 是一个分布式运算程序的 ...
分类：
其他好文 时间：
2018-03-21 13:46:51
阅读次数：
218
在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”） ...
分类：
其他好文 时间：
2018-03-06 15:36:07
阅读次数：
243
