码迷,mamicode.com
首页 >  
搜索关键字:executor    ( 1219个结果
Storm总结
基本概念 一台物理机,运行多个拓扑。具体说就是,运行多个进程,每一个进程仅属于一个拓扑。 worker(工作进程) 是进程。 executor(执行器)是线程。 执行器运行着多个任务( task),但执行器只能执行一类组件...
分类:其他好文   时间:2015-08-30 23:37:40    阅读次数:206
[笔记][Java7并发编程实战手册]4.4 在执行器中执行任务并返回结果Callable、Future
[笔记][Java7并发编程实战手册]系列目录简介  执行框架(Executor Framework)的优势之一就是,可以在运行并发任务的时候返回结果。但是需要以下两个类来实现功能:    1. 接口 Callable 返回结果并且可能抛出异常的任务。实现者定义了一个不带任何参数的叫做 call 的方法。 Callable 接口类似于 Runnable,两者都是为那些其实例可...
分类:编程语言   时间:2015-08-30 21:27:03    阅读次数:245
[Java Concurrency in Practice]第八章 线程池的使用
线程池的使用8.1 在任务与执行策略之间的隐性耦合虽然Executor框架为制定和修改执行策略提供了相当大的灵活性,但并非所有的任务都能适用所有的执行策略。有些类型的任务需要明确地执行执行策略,包括:1、 依赖性任务:当线程池中运行任务都是独立的时,我们可以随意地修改池的长度与配置,这不会影响到性能以外的任何事情。但如果你提交到线程池中的任务依赖于其他的任务,这就会隐式地给执行策略带来了约束。...
分类:编程语言   时间:2015-08-30 19:39:37    阅读次数:277
java多线程使用学习笔记
初学Java多线程,后续继续改进 一,Callable Callable是类似于Runnable的接口,实现Callable接口的类和实现Runnable的类都是可被其他线程执行的任务 Callable和Runnable的区别如下: 1.Callable定义的方法是call,而Runnable定义的方法是run。 2.Callable的call方法可以有返回值,而Runnab...
分类:编程语言   时间:2015-08-28 19:50:05    阅读次数:200
spark core源码分析7 Executor的运行
实际任务的运行,都是通过Executor类来执行的。这一节,我们只介绍Standalone模式。 源码位置:org.apache.spark.executor.CoarseGrainedExecutorBackend private def run( driverUrl: String, executorId: String, hostname: String,...
分类:其他好文   时间:2015-08-27 21:16:37    阅读次数:195
Spark的TorrentBroadcast:概念和原理
依据Spark 1.4.1源码SparkContext的broadcast方法注释可以用SparkContext将一个变量广播到所有的executor上,使得所有executor都能获取这个变量代表的数据。SparkContext对于broadcast方法的注释为:/** * Broadcast a...
分类:其他好文   时间:2015-08-16 12:03:38    阅读次数:261
[转载] Java线程池框架源码分析
转载自http://www.linuxidc.com/Linux/2014-11/108791.htm相关类Executor,Executors,AbstractExecutorService,ExecutorServiceExecutor:整个线程池执行者框架的顶层接口。定义了一个execute方...
分类:编程语言   时间:2015-08-14 18:43:31    阅读次数:198
Spark源码阅读笔记之Broadcast(一)
Spark源码阅读笔记之Broadcast:Spark会序列化在各个任务上使用到的变量,然后传递到Executor中,由于Executor中得到的只是变量的拷贝,因此对变量的改变只在该Executor有效。序列化后的任务的大小是有限制的(由spark.akka.frameSize决定,值为其减去200K,默认为10M-200K),超出该限制的任务会被抛弃。因此,对于需要共享比较大的数据时,需要使用Broadcast。...
分类:其他好文   时间:2015-08-13 15:59:17    阅读次数:600
Java多线程——<八>多线程其他概念
一、概述 到第八节,就把多线程基本的概念都说完了。把前面的所有文章加连接在此: Java多线程——概述、定义任务 Java多线程——将任务交给线程,线程声明及启动 Java多线程——简单的线程执行:Executor Java多线程——让线程有返回值 Java多线程——后台线程(daemo...
分类:编程语言   时间:2015-08-13 13:57:57    阅读次数:149
Spark入门实战系列--3.Spark编程模型(上)--概念及SparkShell实战
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送–Spark入门实战系列》获取1 Spark编程模型 1.1 术语定义 应用程序(Application): 基于Spark的用户程序,包含了一个Driver Program 和集群中多个的Executor; 驱动程序(Driver Program):运行Application的main()函数并且创建SparkContext,通常用...
分类:系统相关   时间:2015-08-13 10:07:18    阅读次数:162
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!