Yarn是为了解决MRv1中JobTracker负载过重，而设计的第二代MR运行架构。yarn是个master/slave结构，master节点运行Resourcemanager，slave节点运行nodemanager。RM主要有两个组件：资源调度器（scheduler）和应用程序管理器（ApplicationsManager）scheduler主要进行资源调度，不进行任何与应用程序相关的动作，
分类：
其他好文 时间：
2019-04-20 15:44:25
阅读次数：
280
一.资源调度&任务调度 1.启动集群后，Worker节点会周期性的【心跳】向Master节点汇报资源情况，Master掌握集群资源情况。 2.当Spark提交一个Application后，根据RDD之间的依赖关系将Application构建成一个DAG有向无环图。 3.任务提交后，Spark会在Dr ...
分类：
其他好文 时间：
2019-04-04 20:36:22
阅读次数：
213
Kubernetes是Google开源的容器集群管理系统或者称为分布式操作系统。它构建在Docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。 ...
分类：
其他好文 时间：
2019-03-19 14:56:09
阅读次数：
168
资源池中多台物理机负载情况不平均的情况实际上常有出现：负载大的物理机会影响应用程序的性能，负载小的物理机又浪费了资源。传统的物理机很难做到资源有效利用，当物理机达到负载瓶颈也很难做到资源动态调整。
分类：
其他好文 时间：
2019-03-06 16:37:45
阅读次数：
165
春节的时候，云宏君与小伙伴们在网红店门口探讨了一番DRS分布式资源调度。春节一顿饭，吃懂了分布式资源调度道理我们都懂，具体怎么操作？我们继续拿饭桌来打个比方——如果把数据中心比作一场宴席，那么服务器就是宴上的桌位，虚拟机就是现场的人。在上一篇文章，我们解决的是有的桌子人多、有的桌子人少的平衡性问题。然而人都是有想法的，今天，我们就来照顾这些特殊人群的问题——资源池中多台物理机负载情况不平均的情况实
分类：
其他好文 时间：
2019-03-06 11:58:27
阅读次数：
151
1. Master节点： Master作为集群控制节点，所有的控制命令都是发给他 - 提供了Http Rest接口，所有的资源操作入口，集群控制入口 - “大总管”：所有资源自动化控制中心-Controller Manager - “调度室”：负责资源调度-Scheduler 2. Node节点： ...
分类：
Web程序 时间：
2019-03-04 19:27:04
阅读次数：
188
Spark运行模式 Local 多用于本地测试，如在eclipse，idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架，它支持完全分布式。 Yarn Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。 Mesos 资 ...
分类：
其他好文 时间：
2019-02-23 01:35:09
阅读次数：
214
从大年初一开始走完该走的亲戚接待络绎不绝的宾客云宏君也终于可以挤出时间和天南海北的朋友一年一会然而云宏君一行人逛了整个城区想去的网红店里哪家都是爆满只能老老实实排队两小时过去饥饿的小伙伴说“如果隔壁店里没人坐台位也能用就好了”对此云宏君只能说这种事情在云计算倒是可以实现通过DRS分布式资源调度就行啦DRS（DistributedResourceScheduler）分布式资源调度，工作原理是通过对资
分类：
其他好文 时间：
2019-02-20 18:43:24
阅读次数：
175
从大年初一开始走完该走的亲戚接待络绎不绝的宾客云宏君也终于可以挤出时间和天南海北的朋友一年一会然而云宏君一行人逛了整个城区想去的网红店里哪家都是爆满只能老老实实排队两小时过去饥饿的小伙伴说“如果隔壁店里没人坐台位也能用就好了”对此云宏君只能说这种事情在云计算倒是可以实现通过DRS分布式资源调度就行啦DRS（DistributedResourceScheduler）分布式资源调度，工作原理是通过对资
分类：
其他好文 时间：
2019-02-20 17:30:55
阅读次数：
221
