Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Ha ...
分类：
其他好文 时间：
2017-04-25 00:37:59
阅读次数：
227
生成taskInfo task = mesos_pb2.TaskInfo() task_id = name task.task_id.value = task_id task.slave_id.value = offer.slave_id.value task.name = name task.da ...
分类：
其他好文 时间：
2017-04-23 14:26:37
阅读次数：
433
traefik##简介traefik是一款开源的反向代理与负载均衡工具。软件定位是做负载均衡器，提供好用的负载均衡服务，不要老拿它跟nginx对比。它最大的优点是能够与常见的微服务系统直接整合，可以实现自动化动态配置。目前支持：Docker,Swarm,Mesos/Marathon,Mesos,Kubernetes,Consu..
分类：
其他好文 时间：
2017-04-21 18:15:49
阅读次数：
531
众所周知, Mesos在运行时使用wDRF（ Dominant Resource Fairness）算法进行一级资源分配, 通过应用程序（Framework）运行时使用资源进行二级资源调度。以此来达到资源分配的公平性和灵活性。但在资源有限的情况下，对于尚未部署的程序如何分配资源？为此Mesos提供了 ...
分类：
其他好文 时间：
2017-03-14 11:49:49
阅读次数：
215
引言：集群利用率100%意味着什么？从某种意义上来说，Mesos集群上没有任何空闲资源时，就可以说达到了100%的利用率。但是，即使某个框架为某个任务（比如一个web服务器）预留了资源，该任务可能并不会完全使用所有这些资源。实际上，在大多数集群上，实际使用率仅仅有10%～30%..
分类：
其他好文 时间：
2017-03-10 11:13:44
阅读次数：
166
mesos集群环境已经部署好，具体部署查看http://11863547.blog.51cto.com/11853547/1903532环境：[root@mesos-node1~]#cat/etc/redhat-release
CentOSLinuxrelease7.2.1511(Core)
[root@mesos-node1~]#uname-r
3.10.0-327.el7.x86_64
[root@mesos-node1~]#uname-m
x86_64
[root@..
分类：
其他好文 时间：
2017-03-07 14:15:34
阅读次数：
179
容器技术软件堆栈 右边表格标红粗的是相比较最火的，其次是标蓝粗的需要多加关注 生态圈最核心的控制点实际在编排调度层（kubernetes，openstack，mesos，swarm）这其实是PaaS，IaaS的核心点。其属于基础设施层，以此开放能力（Cloud Service），构筑面向行业的Saa ...
分类：
其他好文 时间：
2017-03-04 22:05:20
阅读次数：
228
摘要：Mesos为很多不同的用户场景都提供了精妙的，考虑周全的API。持久化卷是由新的acceptOffersAPI引入的特性。持久化卷让用户可以为Mesos构建数据库框架，Mesos可以在任何不可预见的故障和错误发生并且影响整个系统时，使数据持久化。本文选自《用Mesos框架构建分布式应用》..
分类：
数据库 时间：
2017-03-02 14:08:31
阅读次数：
222
众所周知，Mesos全面支持Docker。但是这意味着什么呢？在命令行里运行docker run...就可以使用Docker了。还需要做什么？让我们一起研究下Mesos的高级特性——和Docker的集...
分类：
其他好文 时间：
2017-03-01 18:27:26
阅读次数：
171
摘要：众所周知，Mesos全面支持Docker。但是这意味着什么呢？在命令行里运行dockerrun...就可以使用Docker了。还需要做什么？让我们一起研究下Mesos的高级特性——和Docker的集成。本文选自《用Mesos框架构建分布式应用》。因为Docker本身想管理整个容器，从chroot、命名空间到..
分类：
其他好文 时间：
2017-03-01 14:55:55
阅读次数：
161
