任务提交流程概述
在阐明了Spark的Master的启动流程与Worker启动流程。接下继续执行的就是Worker上的Executor进程了，本文继续分析整个Executor的启动与任务提交流程
Spark-submit提交一个任务到集群通过的是Spark-submit
通过启动脚本的方式启动它的主类，这里以WordCount为例子
`spark-submit –class cn.itcas...
分类：
其他好文 时间：
2016-04-22 20:58:09
阅读次数：
395
1 Executor框架简介 从JDK5开始，工作单元和执行机制隔离开来，工作单元包括Runnable和Callable，执行机制由Executor提供。 调用关系：Java线程一对一映射到本地操作系统的系统线程，当多线程程序分解若干任务，使用用户级的调度器（Executor框架）将任务映射为固定数 ...
分类：
编程语言 时间：
2016-04-22 10:37:17
阅读次数：
218
ExecutorService是线程池的一个服务，可以随时关闭线程池，是继承Executor的。Executors是个工厂类，专门创建各种线程池。 new Thread的弊端: a. 每次new Thread新建对象性能差。 b. 线程缺乏统一管理，可能无限制新建线程，相互之间竞争，及可能占用过多系 ...
分类：
移动开发 时间：
2016-04-19 09:57:52
阅读次数：
196
王家林每日大数据语录Spark篇0043（2015.12.15于上海）:Worker在退出的时候会通过ExecutorRunner杀死Executor并且会将运行在当前Worker下的Driver Client删除掉，最终AppClient端的SparkDeploySchedulerBackend会 ...
分类：
其他好文 时间：
2016-04-18 13:32:24
阅读次数：
188
CompletionService简介CompletionService与ExecutorService类似都可以用来执行线程池的任务，ExecutorService继承了Executor接口，而CompletionService则是一个接口，那么为什么CompletionService不直接继承Executor接口呢？主要是Executor的特性决定的，Executor框架不能完全保证任务执行的异...
分类：
编程语言 时间：
2016-04-11 12:28:28
阅读次数：
155
上周用jenkins构建项目碰到个问题,运行项目一直处于Waiting for next available executor 连接等待中,找了半天没找到原因 第一步:进入系统管理,选中管理节点 第二步: 查看系统监控 只可以选择尽可能的使用这个节点,选第二个则会一直在pending状态 ...
分类：
其他好文 时间：
2016-04-11 12:05:13
阅读次数：
1413
线程池简介在之前介绍Executor框架的文章中对线程池有一个初步的认识，实际上线程池这种设计思想在Java中很普遍，比如JVM中常量池，以及Web开发使用到的数据库连接池。这些池本质上还是Java中的对象池，因为池中存放的都是Java对象。回到线程池，几乎所有需要异步或者执行并发任务的程序都可以使用到线程池。使用线程池带来的好处主要包括以下几个方面：
一，提高资源利用率。由于线程池中的线程使可...
分类：
编程语言 时间：
2016-04-08 15:19:23
阅读次数：
264
java原生的接口和抽象类：Executor、ExecutorService、ScheduleExecutorService、Iterable和AbstractExecutorService； ScheduleExecutorService接口：提供了延迟执行、周期性执行的接口。 AbstractE ...
分类：
编程语言 时间：
2016-04-08 14:35:50
阅读次数：
228
资源调度 说明： Application的调度算法有两种，分别为spreadOutApps和非spreadOutApps spreadOutApps 在spark-submit脚本中，可以指定要多少个executor,executor需要多少个cpu及多少内存，基于该机制，最后executor的实际... ...
分类：
其他好文 时间：
2016-04-07 06:56:20
阅读次数：
295
