CDH集群中YARN的参数配置前言：Hadoop2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用..
分类：
其他好文 时间：
2015-05-29 18:21:09
阅读次数：
162
今天看码农周刊里有一篇文章介绍Borg，是关于大型企业资源管理的，里面提供了百度Matrix系统的InfoQ的视频链接。里面是百度Matrix团队的负责人做介绍，讲的是如何通过Matrix这个集群资源调度系统来管理几十万台服务器。当然了，大公司对服务器资源的利用率、错误的处理率、自动解决问题的要求确...
分类：
其他好文 时间：
2015-05-13 00:40:08
阅读次数：
107
1.Hadoop YARN产生背景 源于MapReduce1.0 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运维成本，而共享模式通常需要少数管理员即可完成多个框架的统一管理。 数据共享 随着数据量的暴增，跨集群间的数据移动不仅需花费更长的时间，且硬...
分类：
其他好文 时间：
2015-04-15 11:08:38
阅读次数：
308
Yarn资源调度器
1、Capacity scheduler
设计目的：以队列为单位划分资源，旨在让分布式集群资源被多用户共享，被多application共享，不同队列间可以动态迁移资源，避免资源被单个应用或单个用户独占，提高集群资源吞吐量和利用率。
核心思想：传统多个独立集群各占一组机器资源以备不时之需，拥有各自的管理开销，这通常导致比较差的资源利用率...
分类：
系统相关 时间：
2015-04-03 23:58:13
阅读次数：
419
在YARN中，资源调度器（ResourceScheduler）是一个非常核心的部件，它负责将各个节点上的资源封装成container，并按照一定的约束条件（按队列分配，每个队列有一定的资源分配上限等）分配给各个application。 （注...
分类：
其他好文 时间：
2015-03-21 18:46:51
阅读次数：
185
spark支持YARN做资源调度器，所以YARN的原理还是应该知道的：http://www.socc2013.org/home/program/a5-vavilapalli.pdf 但总体来说，这是一篇写得一般的论文，它的原理没有什么特别突出的，而且它列举的数据没有对比性，几乎看不出YARN有什么优...
分类：
Web程序 时间：
2015-01-22 01:40:48
阅读次数：
521
遇到过的一些php笔试题1、linux的多线程和多进程有什么区别？什么时候使用多线程，什么时候使用多进程？答：（1）进程资源调度的最小单位，线程是cpu调度的最小单位；多进程开销大，多线程开销小，这是最基本的区别；一个进程里面可能有很多线程，把进程分解为线程之后就可以有效利用cpu和内存 （2）当需...
分类：
Web程序 时间：
2015-01-05 12:34:14
阅读次数：
273
版权所有，未经华为书面许可，请勿转载或转发
2.2.4 单VM及多VM的弹性伸缩技术
单VM及多VM的弹性伸缩技术包括：基本资源部件级别、虚拟机级别、云系统级别三个层次的伸缩技术。
基本资源部件级别：精细化的Hypervisor资源调度，对指定虚拟机实例的CPU、内存及存储进行弹性伸缩，并可对伸缩上下限进行配额限制。。
虚拟机级别：指虚拟机集群的自动扩展与收缩，基于C...
分类：
其他好文 时间：
2014-12-17 16:25:38
阅读次数：
223
为了提供规模化、分布式部署、资源优化利用和兼容 AWS 的功能，openstack 引入了 Region，Cell，Availability Zone(AZ) 和 Host Aggregates Zone(HAZ) 四个概念，其中 Region 和 AZ 是从公有云大哥 AWS 引入，Cell 是为了扩充一个 Region 下的集群的规模而引入的，Host Aggregates
是优化资源调度...
分类：
其他好文 时间：
2014-12-14 15:54:52
阅读次数：
370
结合多线程的学习过程，介绍线程的状态图，随着学习的深入，这幅图不断加入新的内容。
一.线程基本状态图
这幅图是在Java 多线程（三） 线程的生命周期及优先级出现过的：
图中是线程运行的基本状态：线程调用start()方法开始后，就进入到可运行状态，随着CPU的资源调度在运行和可运行之间切换；遇到阻塞则进入阻塞状态。
二.加入同步的线程状...
分类：
编程语言 时间：
2014-11-24 13:40:02
阅读次数：
386
