一、创建线程池 Executors类，提供了一系列工厂方法用于创先线程池，返回的线程池都实现了ExecutorService接口,Executor的实现还提供了对生命周期的支持，以及统计信息收集，应用程序管理机制和性能监视等机制。Executor基于生产者---消费者模式，提交任务的操作相当于...
分类：
编程语言 时间：
2015-09-09 19:11:22
阅读次数：
223
执行流程数据的接收StreamingContext实例化的时候，需要传入一个SparkContext，然后指定要连接的spark matser url，即连接一个spark engine，用于获得executor。实例化之后，首先，要指定一个接收数据的方式，如val lines = ssc.sock...
分类：
其他好文 时间：
2015-09-09 16:38:29
阅读次数：
163
Nimbus启动过程 （mk-assignments 、compute-new-topology->executor->node+port、compute-executor）
分类：
其他好文 时间：
2015-09-09 16:37:49
阅读次数：
208
1 创建测试代码test.php2 运行文件 php test.php 获取到pid3 运行 gdb -p pid4 进入gdb交互(gdb) print (char *)executor_globals.active_op_array->filename$1 = 0x9853a34 "/home/...
分类：
数据库 时间：
2015-09-09 13:28:51
阅读次数：
264
standalone模式下的框架图如下：
异常分析1： worker异常退出
worker异常退出，比如说有意识的通过kill指令将worker杀死worker在退出之前，会将自己所管控的所有小弟executor全干掉worker需要定期向master改善心跳消息的，现在worker进程都已经玩完了，哪有心跳消息，所以Master会在超时处理中意识到有一...
分类：
其他好文 时间：
2015-09-08 20:17:43
阅读次数：
187
1. Tomcat优化其实就是对server.xml优化（开户线程池，调整http connector参数） 搜索【<Executor name="tomcatThreadPool"】，开启并调整为 <Executor name="tomcatThreadPool" namePrefix="catalina-exec-" ma...
分类：
其他好文 时间：
2015-09-07 16:55:48
阅读次数：
366
worker：topology的进程。 executor：线程，由worker产生。 task：具体一个?spout/bolt的实例。 thread和task关系：一个thread可以运行多个实例，但是如果不显示设定task数量：setNumTasks(n)，一个thread默认执...
分类：
其他好文 时间：
2015-09-04 12:57:45
阅读次数：
190
Java 7 并发编程实战手册目录代码下载(https://github.com/Wang-Jun-Chao/java-concurrency)第五章 Fork/Join框架5.1简介 通常，使用Java来开发一个简单的并发应用程序时，会创建一些Runnable对象，然后创建对应的Thread对象来控制程序中这些线程的创建、执行以及线程的状态。自从Java 5开始引入了 Executor和Exec...
分类：
其他好文 时间：
2015-09-04 07:36:40
阅读次数：
350
一 Executor接口 Executor接口的对象是一种执行任务的方式。它能够使提交的任务和执行任务的线程的管理解耦。我们通常用Executor来代替new一个Thread对象来执行任务。这样可以省略底层线程的管理细节。例如： executor.excute(newRunnableTask());...
分类：
编程语言 时间：
2015-09-03 12:45:13
阅读次数：
318
Spark Streaming初试 yum install nc.x86_64 ./bin/spark-shell --total-executor-cores 34? 敲入下面程序： import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext...
分类：
其他好文 时间：
2015-09-01 20:07:57
阅读次数：
280
