Docker是一种Linux容器工具集，它是为构建（Build）、交付（Ship）和运行（Run）分布式应用而设计的。 Kubernates:是开源的容器集群管理系统。它构建在Docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等一套功能，本质上可看作是基于容器技术的Mic ...
分类：
其他好文 时间：
2017-06-03 21:41:45
阅读次数：
234
http://page.factj.com/tor/xoxaHR0cDovL2RvY2tvbmUuaW8vYXJ0aWNsZS8yMzM0 Kubernetes是Google开源的容器集群管理系统，它构建于Docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，利 ...
分类：
Web程序 时间：
2017-05-14 10:31:57
阅读次数：
197
背景yarn默认使用的是最简单的FIFO调度器，即一个default队列，所有用户共享，分配资源也是先到先得，没有优先级之分。有时一两个任务就把资源全占了，其他任务吃不到资源造成饥饿，显然这样的资源分配是不合理的（在当今社会主义之中，我们要共同富裕啊）。yarn还有两种资源调..
分类：
其他好文 时间：
2017-05-08 14:28:13
阅读次数：
256
背景yarn默认使用的是最简单的FIFO调度器，即一个default队列，所有用户共享，分配资源也是先到先得，没有优先级之分。有时一两个任务就把资源全占了，其他任务吃不到资源造成饥饿，显然这样的资源分配是不合理的（在当今社会主义之中，我们要共同富裕啊）。yarn还有两种资源调..
分类：
其他好文 时间：
2017-05-06 10:33:31
阅读次数：
215
SPARK的MAster资源分配算法（SPARK1.3）master资调度通过源码中的org.apache.spark.deploy.master包下的schedule()方法实现步骤如下：首先判断master是否是alive状态，如果不是alive则返回，也就是只有活动的master才会进行资源调度，standbymaster是不会进行资源调度的把之前..
分类：
其他好文 时间：
2017-05-04 00:05:42
阅读次数：
199
Hadoop学习笔记总结 01. YARN框架 1. 新一代的框架介绍 YARN的职能就是将资源调度和任务调度分开。资源管理器ResourceManager全局管理所有应用程序计算资源的分配，每一个job的ApplicationMaster负责相应任务的调度和协调。 ResourceManager做 ...
分类：
其他好文 时间：
2017-04-27 23:06:13
阅读次数：
255
一、背景 近期在进行资源调度管理平台的重构工作，其中的Resource/Property数据库设计，在没有更加优化的方案前，打算沿用当前平台的数据库结构；这就需要对当前平台的数据库结构进行剖析研究，并对其性能进行测试与分析，得出的数据结果作为后续设计和优化的参考。 二、测试方法 1、测试工具：mys ...
分类：
数据库 时间：
2017-04-25 18:33:59
阅读次数：
219
一、mapreduce入门 1、什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 Mapredu ...
分类：
其他好文 时间：
2017-04-14 12:53:42
阅读次数：
254
IDC市场增速云计算产生背景与概念云计算部署模式云计算商业应用模式 业务上云的复杂性与平滑过程可靠性或SLA的支持性工作负载可迁移性数据安全性厂商锁定看不到投资回报云计算的价值体现：智能资源调度基于策略的调度 实现负载均衡或通过热迁移节能减排没有超过服务器的阈值将二胎服务器关机以实现节能减排 提高资 ...
分类：
其他好文 时间：
2017-04-09 23:16:30
阅读次数：
456
一、产品服务 EDS 1、多源数据导入到HDFS存储 2、提供之上的sql查询分析能力 ADS 1、允许封装各种逻辑成docker镜像，由云管理平台协调分布式计算资源 2、调度docker执行，产生结果，用返回值或大数据落地 二、模块划分： 模块分为 总览、数据平台、分析应用、模型示例和用户中心 功 ...
分类：
其他好文 时间：
2017-04-08 11:09:32
阅读次数：
275
