Java 中几种常用的线程池 转载 ： https://www.cnblogs.com/sachen/p/7401959.html 原创 2016年04月14日 23:29:01 标签： java / 线程池 / Executor 878 原创 2016年04月14日 23:29:01 标签： ja ...
分类：
编程语言 时间：
2018-04-02 13:40:36
阅读次数：
226
这次开发功能是OEM统计报表。统计报表的数据由大数据平台部的同事收集，数据的展示由我们部门开发。 大数据那边使用 Kylin 分布式分析引擎（kylin官方文档）。 Kylin 虽比较偏向大数据相关，但最终大佬们决定把访问 Kylin 的 Dubbo 接口也由我们开发，比较坑。 解决方案一：Myba ...
分类：
编程语言 时间：
2018-03-31 13:17:29
阅读次数：
427
前面的章节中，我们介绍了使用@Async注解来实现异步调用，但是，对于这些异步执行的控制是我们保障自身应用健康的基本技能。本文我们就来学习一下，如果通过自定义线程池的方式来控制异步调用的并发。 定义线程池 在springboot主类中定义一个线程池 使用线程池 在定义了线程池之后，我们如何让异步调用 ...
分类：
编程语言 时间：
2018-03-31 10:16:17
阅读次数：
984
I had a similar problem when running a spring web application in an Eclipse managed tomcat. I solved this problem by adding maven dependencies in the ...
分类：
编程语言 时间：
2018-03-30 14:42:28
阅读次数：
299
Java线程池中线程的数量超过核心线程的数量，且所有线程空闲，空闲时间超过keepAliveTime，会停止超过核心线程数量的线程，那么会保留哪些线程呢？是不是有规则呢？ 测试代码： ThreadPoolExecutor executor = new ThreadPoolExecutor(3, 5, ...
分类：
编程语言 时间：
2018-03-27 16:41:29
阅读次数：
156
Promise 对象用于一个异步操作的最终完成（或失败）及其结果值的表示。简单点说，它就是用于处理异步操作的，异步处理成功了就执行成功的操作，异步处理失败了就捕获错误或者停止后续操作。 它的一般表示形式为： 其中，Promise中的参数executor是一个执行器函数，它有两个参数resolve和r ...
分类：
其他好文 时间：
2018-03-26 19:12:34
阅读次数：
160
摘要spark的调度一直是我想搞清楚的东西，以及有向无环图的生成过程、task的调度、rdd的延迟执行是怎么发生的和如何完成的，还要就是RDD的compute都是在executor的哪个阶段调用和执行我们定义的函数的。这些都非常的基础和困难。花一段时间终于弄白了其中的奥秘。总结起来，以便以后继续完善。spark的调度分为两级调度：DAGSchedule和TaskSchedule。DAGSchedule是根据job来生成相互依赖的stages，然后把stages以TaskSet形式传递给TaskSchedule来进行任务的分发过程，里面的细节会慢慢的讲解出来的，比较长
分类：
其他好文 时间：
2018-03-26 17:24:25
阅读次数：
202
ReducerAggregator首先在输入流上运行全局重新分区操作(global)将同一批次的所有分区合并到一个分区中，然后在每个批次上运行的聚合功能，针对Batch操作。 省略部分代码，省略部分可参考：https://blog.csdn.net/nickta/article/details/79 ...
分类：
其他好文 时间：
2018-03-24 21:27:45
阅读次数：
141
引言合理利用线程池能够带来三个好处。第一：降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。第二：减少系统对于，外部服务的响应时间的等待。第三：提高线程的可管理性。线程是稀缺资源，如果无限制的创建，那么系统内存就会消耗完，所以就用引用到线程池的概念。线程池主要就了解一个方法就可以了了解几个参数corePoolSize（线程池的基本大小）：当提交一个任务到线程池时，线程池会创建一个
分类：
编程语言 时间：
2018-03-23 17:48:14
阅读次数：
240
在上文《Spark技术内幕：Stage划分及提交源代码分析》中，我们分析了Stage的生成和提交。可是Stage的提交，仅仅是DAGScheduler完毕了对DAG的划分，生成了一个计算拓扑，即须要依照顺序计算的Stage，Stage中包括了能够以partition为单位并行计算的Task。我们并没 ...
分类：
其他好文 时间：
2018-03-19 13:45:10
阅读次数：
270
