Kubernetes（k8s）是自动化容器操作的开源平台，基于这个平台，你可以进行容器部署，资源调度和集群扩容等操作。如果你曾经用过Docker部署容器，那么可以将Docker看成Kubernetes底层使用的组件，Kubernetes是Docker的上层封装，通过它可以很方便的进行Docker集群... ...
前言相信Docker技术大家都有所了解，单个Docker能发挥的作用毕竟有限，也不便于管理，所以Docker得组集群来使用才能发挥强大的技术优势。既然要组集群那就涉及诸如Docker的资源调度、管理等等一系列问题。目前涉及Docker集群的三个主要的技术无外乎Swarm、Kubernetes、Mesos三种。从本文开始作者将会一一实践这几种主要的Docker集群技术，话不多说，现在开始。注意：作者
分类：
其他好文 时间：
2018-02-28 11:20:26
阅读次数：
178
mesos原理与架构 首先，再次需要强调 Mesos 自身只是一个资源调度框架，并非一整套完整的应用管理平台，所以只有 Mesos 自己是不能干活的。但是基于 Mesos，可以比较容易地为各种应用管理框架或者中间件平台（作为 Mesos 的应用）提供分布式运行能力；同时多个框架也可以同时运行在一个 ...
分类：
其他好文 时间：
2018-02-13 12:27:17
阅读次数：
211
一、前述 Spark中资源调度是一个非常核心的模块，尤其对于我们提交参数来说，需要具体到某些配置，所以提交配置的参数于源码一一对应，掌握此节对于Spark在任务执行过程中的资源分配会更上一层楼。由于源码部分太多本节只抽取关键部分和结论阐述，更多的偏于应用。 二、具体细节 1、Spark-Submit ...
分类：
其他好文 时间：
2018-02-05 23:27:50
阅读次数：
261
1、单应用单服务器； 2、单应用拆分成多个应用并部署到多个服务器； 3、单应用拆分成多个应用并实现分布式部署； 4、流动计算框架（用于提高机器利用率的资源调度和治理中心）。 ...
分类：
其他好文 时间：
2018-02-05 20:00:50
阅读次数：
140
1.集群简介 Hadoop集群具体来说包括两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群： 负责海量数据的存储，集群中的角色主要有NameNode/DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有ResourceManage/ ...
分类：
其他好文 时间：
2018-01-30 21:13:40
阅读次数：
191
一、前述 Storm容错机制相比其他的大数据组件做的非常不错。 二、具体原因 结合Storm集群架构图： 我们的程序提交流程如下： 其中各个组件的作用如下： Nimbus资源调度任务分配接收jar包Supervisor接收nimbus分配的任务启动、停止自己管理的worker进程（当前supervi ...
分类：
其他好文 时间：
2018-01-26 00:27:06
阅读次数：
228
1.补充算子 transformations Ø mapPartitionWithIndex 类似于mapPartitions,除此之外还会携带分区的索引值。 Ø repartition 增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle） 多用于增多分区. 底层调用 ...
分类：
编程语言 时间：
2018-01-05 20:50:15
阅读次数：
355
Kubernetes介绍Kubernetes是Google开源的容器集群管理系统，是基于Docker构建一个容器的调度服务，提供资源调度、均衡容灾、服务注册、动态扩缩容等功能套件。
Kubernetes提供应用部署、维护、?扩展机制等功能，利用Kubernetes能方便地管理跨机器运行容器化的应用，其主要功能如下：
1)?使用Docker对应用程序包装(package)、实例化
分类：
Web程序 时间：
2018-01-04 16:34:28
阅读次数：
398
构建tomcat集群，实现前端一台nginx反代，到后端的apache服务器，由apache负责向后端的tomcat服务器进行资源调度，这样的模式比直接用nginx反代到后端主机，tomcat服务器所受到的压力会更小，服务将会更加稳定，这样的模式是经过实践检验出来的。如果nginx直接调度到后端tomcat服务器，则只支持http和https，而不支持ajp，http与https模式的设定，可以让
分类：
Web程序 时间：
2017-12-27 15:25:43
阅读次数：
206
