基本概念 一台物理机,运行多个拓扑。具体说就是,运行多个进程,每一个进程仅属于一个拓扑。 worker(工作进程) 是进程。 executor(执行器)是线程。 执行器运行着多个任务( task),但执行器只能执行一类组件...
分类:
其他好文 时间:
2015-08-30 23:37:40
阅读次数:
206
[笔记][Java7并发编程实战手册]系列目录简介 执行框架(Executor Framework)的优势之一就是,可以在运行并发任务的时候返回结果。但是需要以下两个类来实现功能:
1. 接口 Callable
返回结果并且可能抛出异常的任务。实现者定义了一个不带任何参数的叫做 call 的方法。
Callable 接口类似于 Runnable,两者都是为那些其实例可...
分类:
编程语言 时间:
2015-08-30 21:27:03
阅读次数:
245
线程池的使用8.1 在任务与执行策略之间的隐性耦合虽然Executor框架为制定和修改执行策略提供了相当大的灵活性,但并非所有的任务都能适用所有的执行策略。有些类型的任务需要明确地执行执行策略,包括:1、 依赖性任务:当线程池中运行任务都是独立的时,我们可以随意地修改池的长度与配置,这不会影响到性能以外的任何事情。但如果你提交到线程池中的任务依赖于其他的任务,这就会隐式地给执行策略带来了约束。...
分类:
编程语言 时间:
2015-08-30 19:39:37
阅读次数:
277
初学Java多线程,后续继续改进
一,Callable
Callable是类似于Runnable的接口,实现Callable接口的类和实现Runnable的类都是可被其他线程执行的任务
Callable和Runnable的区别如下:
1.Callable定义的方法是call,而Runnable定义的方法是run。
2.Callable的call方法可以有返回值,而Runnab...
分类:
编程语言 时间:
2015-08-28 19:50:05
阅读次数:
200
实际任务的运行,都是通过Executor类来执行的。这一节,我们只介绍Standalone模式。
源码位置:org.apache.spark.executor.CoarseGrainedExecutorBackend
private def run(
driverUrl: String,
executorId: String,
hostname: String,...
分类:
其他好文 时间:
2015-08-27 21:16:37
阅读次数:
195
依据Spark 1.4.1源码SparkContext的broadcast方法注释可以用SparkContext将一个变量广播到所有的executor上,使得所有executor都能获取这个变量代表的数据。SparkContext对于broadcast方法的注释为:/** * Broadcast a...
分类:
其他好文 时间:
2015-08-16 12:03:38
阅读次数:
261
转载自http://www.linuxidc.com/Linux/2014-11/108791.htm相关类Executor,Executors,AbstractExecutorService,ExecutorServiceExecutor:整个线程池执行者框架的顶层接口。定义了一个execute方...
分类:
编程语言 时间:
2015-08-14 18:43:31
阅读次数:
198
Spark源码阅读笔记之Broadcast:Spark会序列化在各个任务上使用到的变量,然后传递到Executor中,由于Executor中得到的只是变量的拷贝,因此对变量的改变只在该Executor有效。序列化后的任务的大小是有限制的(由spark.akka.frameSize决定,值为其减去200K,默认为10M-200K),超出该限制的任务会被抛弃。因此,对于需要共享比较大的数据时,需要使用Broadcast。...
分类:
其他好文 时间:
2015-08-13 15:59:17
阅读次数:
600
一、概述 到第八节,就把多线程基本的概念都说完了。把前面的所有文章加连接在此: Java多线程——概述、定义任务 Java多线程——将任务交给线程,线程声明及启动 Java多线程——简单的线程执行:Executor Java多线程——让线程有返回值 Java多线程——后台线程(daemo...
分类:
编程语言 时间:
2015-08-13 13:57:57
阅读次数:
149
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送–Spark入门实战系列》获取1 Spark编程模型 1.1 术语定义
应用程序(Application): 基于Spark的用户程序,包含了一个Driver Program 和集群中多个的Executor;
驱动程序(Driver Program):运行Application的main()函数并且创建SparkContext,通常用...
分类:
系统相关 时间:
2015-08-13 10:07:18
阅读次数:
162