SparkContext将应用程序代码分发到各Executors，最后将任务（Task）分配给executors执行 Application: Appliction都是指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 Driver: ...
分类：
其他好文 时间：
2018-10-15 14:26:20
阅读次数：
161
示例代码： java import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; public class ThreadPoolTest { public static void main(S ...
分类：
编程语言 时间：
2018-10-14 14:12:45
阅读次数：
132
1、什么是线程池： java.util.concurrent.Executors提供了一个 java.util.concurrent.Executor接口的实现用于创建线程池 多线程技术主要解决处理器单元内多个线程执行的问题，它可以显著减少处理器单元的闲置时间，增加处理器单元的吞吐能力。 假设一个服 ...
分类：
编程语言 时间：
2018-10-11 10:24:32
阅读次数：
191
[toc] 前言 进程：内存运行的程序。 线程：进程中的一个执行单元。 创建多线程的方式 继承thread抽象类 创建 完整版 ExecutorService service = Executors.newFixedThreadPool(2); service.submit(new Runnable ...
分类：
编程语言 时间：
2018-10-10 23:54:56
阅读次数：
205
public void getcd() { logger.info("任务开始！ "); final ExecutorService exec = Executors.newFixedThreadPool(1); Callable<String> call = new Callable<String ...
分类：
编程语言 时间：
2018-10-10 12:09:17
阅读次数：
203
线程池原理 谈到线程池就会想到池化技术，其中最核心的思想就是把宝贵的资源放到一个池子中；每次使用都从里面获取，用完之后又放回池子供其他人使用，有点吃大锅饭的意思。 那在 Java 中又是如何实现的呢？ 在 JDK 1.5 之后推出了相关的 api，常见的创建线程池方式有以下几种： Executors ...
分类：
编程语言 时间：
2018-10-09 15:04:33
阅读次数：
199
spark-submit --class WordCount \> --master yarn-cluster \> --num-executors 10 \> --executor-memory 6G \> --executor-cores 4 \> --driver-memory 1G \> / ...
分类：
其他好文 时间：
2018-10-09 00:50:17
阅读次数：
226
Executors(线程池) (jdk1.5特性) jdk1.5之前，我们必须要手动实现自己的线程池，jdk1.5之后，Java内置支持线程池? 线程池的优点 线程池里的每一个线程代码结束后，并不会死亡，而是再次回到线程池中成为空闲状态，等待下一个对象来使用。? 和线程池相关的类和方法 Execut ...
分类：
编程语言 时间：
2018-10-06 15:33:16
阅读次数：
132
在《阿里巴巴java开发手册》中指出了线程资源必须通过线程池提供，不允许在应用中自行显示的创建线程，这样一方面是线程的创建更加规范，可以合理控制开辟线程的数量；另一方面线程的细节管理交给线程池处理，优化了资源的开销。而线程池不允许使用Executors去创建，而要通过ThreadPoolExecut ...
分类：
编程语言 时间：
2018-10-04 21:37:44
阅读次数：
158
等待多线程完成的CountDownLatch countDownLatch允许一个或多个线程等待其他线程完成操作。 countDownLatch的构造函数接受一个int类型的参数作为计数器，如果你想等待N个点完成，这里就传入N 当我们调用countDownLatch的countDown方法时，N就会 ...
分类：
编程语言 时间：
2018-10-04 10:01:25
阅读次数：
196
