void java.util.concurrent.Executor.execute(Runnable command) execute void execute(Runnable command) Executes the given command at some time in the fut ...
分类：
其他好文 时间：
2016-07-02 17:22:46
阅读次数：
154
java.util.concurrent.ExecutorService An Executor that provides methods to manage termination and methods that can produce a Future for tracking progre ...
分类：
其他好文 时间：
2016-07-02 17:21:24
阅读次数：
261
摘要本文主要介绍cassandra线程技术，cassandra的实现是基于java的，所以线程技术使用的也是jdk包提供的线程类。cassandra是分布式数据库，整个并发架构是基于阶段事件驱动架构(staged envent-driven architecture)它能够利用queue将复杂的事件驱动分解为各个阶段。java并发Executor 框架
http://docs.oracle.com...
分类：
其他好文 时间：
2016-07-02 10:32:14
阅读次数：
469
1、关于Application 用户程序，一个Application由一个在Driver运行的功能代码和多个Executor上运行的代码组成（工作在不同的节点上）。 又分成多个Job，每个Job由多个RDD和一些Action操作组成、job本分多个task组，每个task组称为：stage。 每个t ...
分类：
其他好文 时间：
2016-06-27 19:46:13
阅读次数：
262
Executor框架 Executor ExecutorService AbstractExecutorService ThreadPoolExecutor ThreadPoolExecutor继承AbstractExecutorService，是一个线程池的具体的实现 主要成员 1. ctl At ...
分类：
编程语言 时间：
2016-06-25 16:20:10
阅读次数：
171
一、代码 二、运行截图 命令：spark-submit --master yarn --jars /opt/test/data/oracle.jdbc_10.2.0.jar --name OracleRead --class com.sgcc.hj.JdbcTest--executor-memory ...
分类：
数据库 时间：
2016-06-21 10:47:04
阅读次数：
1830
1.什么是线程池
定义：线程池是指管理一组同构工作线程的资源池组成部分：
线程管理器（ThreadPool）：用于创建并管理线程池。包括创建线程池，销毁线程池，添加新任务工作线程（PoolWorker）：线程池中的线程任务接口（Task）:每个任务必须实现的接口，一共工作线程调度任务的执行任务队列：用于存放没有处理的任务，提供一种缓冲机制
2.为什么要使用线程池
通过重用现...
分类：
编程语言 时间：
2016-06-16 21:48:15
阅读次数：
205
在上一篇文章中我们已经了解了Executor框架进行线程管理，这篇文章将学习Executor框架的另一个特性，我们知道执行Runnable任务是没有返回值得，但Executor可以运行并发任务并获得返回值，Concurrent包提供下面两个接口实现这个功能：
Callable接口：这个接口声明call()，类似于Runnable的run()，可以在这个方法里实现任务的具体逻辑操作。Callable是...
分类：
编程语言 时间：
2016-06-12 03:13:14
阅读次数：
145
我们在并发编程创建线程时，常常是创建一些Runnable对象，然后创建对应的Thread对象执行它们，但是如果程序需要并发执行大量的任务时，需要为每个任务都创建一个Thread，进行管理，这将会影响程序的执行效率，并且创建线程过多将会使系统负载过重。Java 5之后通过了一套Executor框架能够解决这些问题，能够分解任务的创建和执行过程。该框架包括Executor，ExecutorService...
分类：
编程语言 时间：
2016-06-12 03:11:50
阅读次数：
140
一，测试环境 1） 硬件环境完全相同： 包括：cpu/内存/网络/磁盘Io/机器数量等 2）软件环境： 相同数据 相同测试用例 3） 不同计算框架，其中spark-sql 都是基于yarn的 4）spark-sql executor内存总量不大于 hive使用内存峰值 二，不同框架在两个测试用例下的 ...
分类：
数据库 时间：
2016-06-06 16:56:54
阅读次数：
761
