近期接到一个任务，需要改造现有从mysql往Elasticsearch导入数据MTE(mysqlToEs)小工具，由于之前采用单线程导入，千亿数据需要两周左右的时间才能导入完成，导入效率非常低。所以楼主花了3天的时间，利用java线程池框架Executors中的FixedThreadPool线程池重 ...
分类：
编程语言 时间：
2019-07-13 19:51:04
阅读次数：
106
1.概述 ExecutorService是JDK提供的框架，它简化了异步模式下的任务执行。一般来说，ExecutorService会自动提供一个线程池和API，用于为其分配任务。 2.实例化ExecutorService 2.1 Executors类的工厂方法 打造ExecutorService最简 ...
分类：
其他好文 时间：
2019-07-06 16:23:14
阅读次数：
123
Java 1.5前 并发实现 Java Green Thread java 1.2 前的线程受os内核限制, 线程=进程, 绿色线程是JVM调度, 用来模拟多线程环境. 不需要本地线程支持. Java Native Thread 对比 绿色线程在线程激活和线程同步方面优于本地线程 在I/O和上下文操 ...
分类：
编程语言 时间：
2019-07-03 13:56:05
阅读次数：
103
主要原因在与spark2+的版本对jdk进行了检查导致的，换了低版本的jdk之后，发现版本不支持，spark2.+需要使用jdk1.8+以上的版本，把jdk版本切换过来。在yarn的配置文件添加一下配置即可。 最后，最后，最后，不要忘记重启hadoop，不然在去执行还是会报错的。 ...
分类：
其他好文 时间：
2019-07-01 13:44:31
阅读次数：
153
ExecutorService executorService = Executors.newFixedThreadPool(5); List callables = new List(); for(int i=0,len=idsArray.size();i> resultList = new Ar... ...
分类：
编程语言 时间：
2019-06-16 13:21:32
阅读次数：
198
package com.thread; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; /** * 如何控制多线程执行顺序 * 1、join方法，让主线程等待子线程执行完后再执行 ... ...
分类：
编程语言 时间：
2019-05-15 12:32:14
阅读次数：
151
当我们调用一个函数的时候，如果这个函数的执行过程是很耗时的，我们就必须要等待，但是我们有时候并不急着要这个函数返回的结果。因此，我们可以让被调者立即返回，让他在后台慢慢的处理这个请求。对于调用者来说，则可以先处理一些其他事情，在真正需要数据的时候再去尝试获得需要的数据（这个真正需要数据的位置也就是上文提到的阻塞点）。这也是Future模式的核心思想：异步调用。
到了这里，你可能会想CountDownLatch不是也可以实现类似的功能的吗？也是可以让耗时的任务通过子线程的方式去执行，然后设置一个阻塞点等待返回的结果，情况貌似是这样的！但有时发现CountDownLatch只知道子线程的完成情况是不够的，如果在子线程完成后获取其计算的结果，那CountDownLatch就有些捉襟见衬了，所以JDK提供的Future类，不仅可以在子线程完成后收集其结果，还可以设定子线程的超时时间，避免主任务一直等待。
看到这里，似乎恍然大悟了！CountDownLatch无法很好的洞察子线程执行的结果，使用Future就可以完成这一操作，那么Future何方神圣！下边我们就细细聊一下。
分类：
编程语言 时间：
2019-05-14 00:51:21
阅读次数：
171
HttpClient 简介 java.net.http.HttpClient 是 jdk11 中正式启用的一个 http 工具类(其实早在 jdk9 的时候就已经存在了，只是处于孵化期)，官方寓意为想要取代 HttpURLConnection 和 Apache HttpClient 等比较古老的开发 ...
分类：
Web程序 时间：
2019-05-07 01:08:57
阅读次数：
391
工具类: 缓冲线程池:Executors.newCachedThreadPool(); 可以根据新加入任务自动调整线程池大小,没有任务队列 源码: 固定容量的线程池:Executors.newFixedThreadPool(3); 创建固定大小的线程池,新任务添加到任务队列 源码: 定义只有一个线程 ...
分类：
编程语言 时间：
2019-05-05 18:01:40
阅读次数：
155
线程池 ? 第四种获取线程的方法：线程池，一个 ExecutorService，它使用可能的几个池线程之 一执行每个提交的任务，通常使用 Executors 工厂方法配置。 ? 线程池可以解决两个不同问题：由于减少了每个任务调用的开销，它们通常可以在 执行大量异步任务时提供增强的性能，并且还可以提供 ...
分类：
编程语言 时间：
2019-05-02 18:45:07
阅读次数：
165
