开门见山：我对进程、线程、事务的理解是，它们都是一个执行者。虽然在java的api里面定义了Executor类，不过我们现在谈论的执行者的概念与java语言没有关系，注意区分不要混淆。 在现代操作系统中，进程的概念特别重要，各种操作系统教材都会花不少笔墨来讲解这个概念，然而书中的定义往往很不直...
分类：
编程语言 时间：
2015-10-12 19:01:09
阅读次数：
145
术语解释Executor多线程的方式运行每个partirion会被分配一个tasktaskset就是stage，一个stage由多个task组成广播变量类似于hadoop的DistributedCache
分类：
其他好文 时间：
2015-10-11 19:53:08
阅读次数：
211
Application 指用户编写的Spark应用程序，其中包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。Driver Spark中的Driver即运行上述Application的main()函数并创建SparkContext.创建的目的是为了初始化Spark的...
分类：
其他好文 时间：
2015-10-10 17:24:28
阅读次数：
226
几个基本概念：（1）job：包含多个task组成的并行计算，往往由action催生。（2）stage：job的调度单位。（3）task：被送到某个executor上的工作单元。（4）taskSet：一组关联的，相互之间没有shuffle依赖关系的任务组成的任务集。一个应用程序由一个driver pr...
分类：
其他好文 时间：
2015-10-03 18:09:25
阅读次数：
242
ThreadLocal使每个线程都可以拥有某个变量的一个私有“版本”。然而，只要条件允许，Executor可以自由地重用这些线程。在标准的Executor实现中，当执行需求较低时将回收空闲线程，而当需求增加时将添加新的线程，并且如果从任务中抛出了一个未检查异常，那么将用一个新的工作者线程来替代抛出异...
分类：
编程语言 时间：
2015-09-24 09:24:20
阅读次数：
208
java5 之后，并发线程部分增加了许多新的东西，新的启动、调度、管理线程的一大堆API，这时通过Executor来启动线程比Thread.start()更好，更容易控制线程的启动，销毁等，还可以使用线程池的功能。一.创建任务实际上就是实现Runnable接口，实现run方法。二.执行任务通过jav...
分类：
编程语言 时间：
2015-09-23 15:04:10
阅读次数：
235
一、简介 于Worker Actor于，每次LaunchExecutor这将创建一个CoarseGrainedExecutorBackend流程。Executor和CoarseGrainedExecutorBackend是1对1的关系。也就是说集群里启动多少Executor实例就有多少Coarse....
分类：
其他好文 时间：
2015-09-22 20:28:22
阅读次数：
203
引言 线程池是java并发技术中常用的一种，通过缓存线程资源避免了频繁的创建销毁线程带来的额外开销，从而提高性能。JDK中有相应的Executor框架实现，而Spring中也带有线程池的功能。本文将从以下几个角度来梳理线程池的用法和注意点： Executor框架 种类和特点 Callable和Fut...
分类：
编程语言 时间：
2015-09-16 12:04:10
阅读次数：
227
Executor框架1.Task？Thread？很多人在学习多线程这部分知识的时候，容易搞混两个概念：任务（task）和线程（thread）。并发编程可以使我们的程序可以划分为多个分离的、独立运行的任务。而这些任务具体得由线程来驱动。Java中，Thread类自身不执行任何操作，它只是驱动赋予它的任...
分类：
编程语言 时间：
2015-09-11 22:07:30
阅读次数：
239
