Executor在集群中分散启动，有利于task计算的数据本地化 默认情况下（提交任务的时候没有设置--executor-cores选项），每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存 如果想在Wor ...
分类：
其他好文 时间：
2019-07-24 22:55:12
阅读次数：
189
K8s是什么 Kubernetes是Google开源的容器集群管理系统．它构建在Docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等一整套功能． K8s能做什么 ①容器的自动化复制和部署，随时扩容或收缩容器规模，并提供负载均衡； ②方便的容器升级； ③提供容器弹性，如果失 ...
分类：
Web程序 时间：
2019-07-17 19:00:50
阅读次数：
175
● 请你说一下进程与线程的概念，以及为什么要有进程线程，其中有什么区别，他们各自又是怎么同步的 参考回答： 基本概念： 进程是对运行时程序的封装，是系统进行资源调度和分配的的基本单位，实现了操作系统的并发； 线程是进程的子任务，是CPU调度和分派的基本单位，用于保证程序的实时性，实现进程内部的并发； ...
分类：
其他好文 时间：
2019-07-08 14:07:53
阅读次数：
215
1、常用的预选策略 2、优选函数 3、节点亲和调度 3.1、节点硬亲和性 3.2、节点软亲和性 4、Pod资源亲和调度 4.1、Pod硬亲和度 4.2、Pod软亲和度 4.3、Pod反亲和度 5、污点和容忍度 5.1、定义污点和容忍度 5.2、管理节点的污点 5.3、Pod对象的容忍度 API Se ...
分类：
其他好文 时间：
2019-06-29 11:00:12
阅读次数：
88
基本的进程线程概念 线程与进程的区别 拥有资源：进程是资源分配的基本单位，但是线程不拥有资源，线程可以访问隶属进程的资源。 调度：线程是独立调度的基本单位，在同一进程中，线程的切换不会引起进程切换，从一个进程中的线程切换到另一个进程中的线程时，会引起进程切换。 系统开销：由于创建或撤销进程时，系统都 ...
分类：
编程语言 时间：
2019-06-28 16:47:35
阅读次数：
129
1、简介 首先，他是一个全新的基于容器技术的分布式架构领先方案。Kubernetes(k8s)是Google开源的容器集群管理系统（谷歌内部:Borg）。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。 Kube ...
分类：
Web程序 时间：
2019-06-28 11:58:05
阅读次数：
118
第五天课程大纲：1、社交粉丝的数据分析：求共同好友2、倒排索引的建立3、自定义inputFormat合并小文件 4、自定义outputformat5、分组求topN6、MapReduce的其他补充 了解7、mapreduce的参数优化 理解8、yarn的资源调度管理 例子1：社交粉丝数据分析 逻辑分 ...
分类：
其他好文 时间：
2019-06-16 00:21:34
阅读次数：
112
1. Kubernetes介绍： Kubernetes主要用于自动化部署，扩展和管理容器应用，提供资源调度，部署管理，服务发现，扩容缩容，监控等一整套功能。 2. Kubernetes主要功能： Kubernetes 是开源容器集群管理系统，是基于Docker构建的调度服务，提供资源调度，均衡容灾， ...
分类：
Web程序 时间：
2019-05-23 11:00:04
阅读次数：
134
分布式系统涵盖的面非常广，具体来说涵盖如下几方面： 服务调度 ，涉及服务发现、配置管理、弹性伸缩、故障恢复等。 资源调度 ，涉及对底层资源的调度使用，如计算资源、网络资源和存储资源等。 流量调度 ，涉及路由、负载均衡、流控、熔断等。 数据调度 ，涉及数据复本、数据一致性、分布式事务、分库、分表等。 ...
分类：
其他好文 时间：
2019-05-13 09:20:18
阅读次数：
606
在spark的资源调度中 1、集群启动worker向master汇报资源情况 2、Client向集群提交app，向master注册一个driver（需要多少core、memery）,启动一个driver 3、Driver将当前app注册给master，（当前app需要多少资源），并请求启动对应的Ex ...
分类：
其他好文 时间：
2019-04-30 12:23:20
阅读次数：
140
