回到dagScheduler.runJob，submit提交作业返回waiter，waiter.awaitResult阻塞线程，判断Job是否执行成功def runJob[T, U: ClassTag]( rdd: RDD[T], func: (TaskContext, Iter...
分类：
Web程序 时间：
2015-07-26 22:32:54
阅读次数：
200
今天在这里跟大家分享下王家林老师讲的scala编程中的actor的并发编程。在java中，同时进行一个操作的时候，java会先把共享数据锁死，从而避免不同的操作来同时操作一个数据，这个就形成了资源调度的问题，而且如果用不好，还会造成死锁。而在scala中，通过类似消息的发送和接收..
分类：
其他好文 时间：
2015-07-24 01:38:28
阅读次数：
215
快速开发完成APS的数据可视化、订单展示、资源调度、智能排程等几乎全部功能模块。...
分类：
其他好文 时间：
2015-07-21 18:42:25
阅读次数：
192
Kubernetes是Google开源的容器集群管理系统。它构建于docker技术之上。为容器化的应用提供资源调度、部署执行、服务发现、扩容缩容等整一套功能。本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流，而且通过执行一个简单的演示样例应...
分类：
Web程序 时间：
2015-07-08 22:15:36
阅读次数：
832
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
首先，Mesos 是一个资源调度框架，并非一整套完整的应用管理平台，本身是不能干活的。但是它可以比较容易的跟各种应用管理或者中间件平台整合，一起工作，提高资源使用效率。
架构
master-slave
架构，master 使用
zookeeper 来做 HA。
master 单独运行在管理节点上，slave 运行在各个计算任务节点上。
各种具体任务的管理平台，即...
分类：
其他好文 时间：
2015-06-23 20:07:03
阅读次数：
213
前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用Yarn做统一的资源调度，建议使用Yarn。
CDH对Yarn的部分参数做了少了修改，并且添加了相...
分类：
其他好文 时间：
2015-05-29 23:18:43
阅读次数：
198
CDH集群中YARN的参数配置前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn...
分类：
其他好文 时间：
2015-05-29 19:47:51
阅读次数：
197
CDH集群中YARN的参数配置 前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成...
分类：
其他好文 时间：
2015-05-29 18:38:55
阅读次数：
239
