一、背景Kubernetes(k8s)是一个基于容器技术的分布式架构领先方案。它在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。在容器云环境及容器化服务在业界开始大规模部署应用的前提下，Kubernetes在业界的实际应用情况又是怎样的呢？在今年召开的JFrogSwampUp用户大会上，Codefresh公司为
分类：
Web程序 时间：
2020-01-04 01:03:10
阅读次数：
107
本文详细的介绍了Hadoop的Yarn架构与原理分析
分类：
其他好文 时间：
2020-01-03 19:39:26
阅读次数：
84
一、前言 Kubernetes（简称K8S）是开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等功能，提高了大规模容器 ...
分类：
其他好文 时间：
2019-12-29 20:45:20
阅读次数：
92
文章目录1、Yarn介绍2、Yarn架构2.1 、ResourceManager2.2 、ApplicationMaster2.3 、NodeManager2.4 、Container2.5 、Resource Request 及 Container2.6 、JobHistoryServer2.7、 ...
分类：
其他好文 时间：
2019-12-28 19:24:00
阅读次数：
94
1、概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn的架构如下图所示： 从Yarn的架构图来看，他主要由ResourceManager、NodeManager、Appli ...
分类：
其他好文 时间：
2019-12-10 20:58:51
阅读次数：
97
Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 /** * driver调度机制原理代码分析Schedule the currently available resources among w ...
分类：
其他好文 时间：
2019-12-01 22:35:51
阅读次数：
96
相关服务及用途节点名称服务名称用途管理节点kubctl-apiserver提供HTTPRest统一接口服务，处理和验证REST请求和更新etcd中API对象的状态管理节点kubectl-controller-manager资源控制管理同步管理节点kube-scheduler负责资源调度（调度Pod）工作节点kubelet管理Pod的生命周期，创建、启停等任务工作节点kube-proxy负责网络通信
分类：
其他好文 时间：
2019-11-25 18:49:31
阅读次数：
257
我花了10个小时，写出了这篇K8S架构解析 https://www.toutiao.com/i6759071724785893891/ 每个微服务通过 Docker 进行发布，随着业务的发展，系统中遍布着各种各样的容器。于是，容器的资源调度，部署运行，扩容缩容就是我们要面临的问题。 基于 Kuber ...
分类：
其他好文 时间：
2019-11-23 09:55:39
阅读次数：
56
[Toc] 0. Yarn的来源 ? hadoop 1.x的时代，并没有Yarn，hadoop核心组件只有HDFS和MapReduce。到了hadoop2.x才有了Yarn的诞生，组件包含HDFS，MapReduce和Yarn。 ? 诞生原因：hadoop 1.x存在的最大问题就是资源管理问题。技术 ...
分类：
其他好文 时间：
2019-11-04 15:11:45
阅读次数：
135
Spark是用于大规模数据处理的快速通用的计算引擎。 相较MR快的原因：其任务中间结果存在内存中，在迭代运算中尤为明显，DAG的设置。 架构说明： Dirver：负责节点通讯，task分发，结果回收 Worker：资源管理的从节点 Master：资源调度的主节点 Dirver：负责节点通讯，task ...
分类：
其他好文 时间：
2019-11-01 10:00:23
阅读次数：
98
