通过Executor创建线程池 Executor.newFixedTreadPool 内部通过new ThreadPoolExecutor创建线程池 返回一个固定数量的线程池。如果线程池中有空闲线程则直接交给空闲线程执行。如果没有将任务放到队列 Executor.newSingleThreadExe ...
分类：
编程语言 时间：
2018-04-08 00:15:37
阅读次数：
173
承接前文 "Spring源码情操陶冶 task:executor解析器" ，在前文基础上解析我们常用的spring中的定时任务的节点配置。 备注：此文建立在spring的4.2.3.RELEASE版本 附例 Spring中的定时任务基本配置样例如下 其中 的配置是不必须的，并且由上述配置可知Spri ...
分类：
编程语言 时间：
2018-04-07 17:38:41
阅读次数：
217
Jmeter用于tomcat性能测试，因为项目部署在tomcat,正常情况下,一个tomcat可以承受500个并发,通过修改配置，及其相关的tomcat优化，可以承受到1000个并发。 如何测试tomcat优化前和优化后的结果? 通过Jmeter测试，就能达到对应的效果 Jmeter测试tomcat ...
分类：
其他好文 时间：
2018-04-07 01:19:38
阅读次数：
252
负载信息：RegionServer:3个 Region:5400多个 现象：在使用Spark对HBase进行scan操作时发现有些task执行比较慢 原因分析：查看Spark应用的executor日志，发现查询慢的都是027节点请求的。 获取此节点的regionServer日志，发现scan的时候有 ...
分类：
其他好文 时间：
2018-04-06 16:43:10
阅读次数：
133
1、将下载的hanlp-portable-1.6.2.jar复制到集群spark/jar文件夹下面 2、启动spark集群 spark/bin/spark-shell --executor-memory 6g --driver-memory 1g --executor-cores 2 --num-e ...
分类：
其他好文 时间：
2018-04-06 12:31:07
阅读次数：
161
一，Executor框架简介 在Java 5之后，并发编程引入了一堆新的启动、调度和管理线程的API。Executor框架便是Java 5中引入的，其内部使用了线程池机制，它在java.util.cocurrent 包下，通过该框架来控制线程的启动、执行和关闭，可以简化并发编程的操作。 Execut ...
分类：
编程语言 时间：
2018-04-06 10:53:54
阅读次数：
199
前言：说起threadpoolexector应该大家多少都接触过,现在我详细的讲解下其的用法 一：解析参数 为了更好地理解threadpoolexecutor,我先讲一个例子,话说一个工作多年的高T,一天突然决定自己要单干组织一个团队,经过仔细的考虑他做出了如下的决定 1、团队的核心人员为10个 2 ...
分类：
编程语言 时间：
2018-04-04 21:05:01
阅读次数：
227
Executor框架的两级调度模型 在HotSpot VM的模型中，JAVA线程被一对一映射为本地操作系统线程。JAVA线程启动时会创建一个本地操作系统线程，当JAVA线程终止时，对应的操作系统线程也被销毁回收，而操作系统会调度所有线程并将它们分配给可用的CPU。 在上层，JAVA程序会将应用分解为 ...
分类：
编程语言 时间：
2018-04-03 17:24:07
阅读次数：
118
在某些场景下，我们经常需要使用多线程来执行任务提高性能，但是我们知道正常的主线程是无法处理子线程的异常的，一旦出现异常就会传播到控制台。这个时候我们需要在线程里面处理异常怎么办呢，我们可以使用Executor来处理。 在Java5中新加入了一个Thread.UncaughtExceptionHand ...
分类：
编程语言 时间：
2018-04-02 23:51:24
阅读次数：
305
1)、 登录spark ssh root@133.37.23.88 /home/mr/spark/bin/beeline -u "jdbc:hive2://133.37.23.88:18000/zxvmax" -n mr -p "" 2)、 在spark——shell 新开辟一个空间跑任务，(在跑s ...
分类：
其他好文 时间：
2018-04-02 13:47:52
阅读次数：
162
