随着对消息队列的应用日益推广,在分布式系统中的使用可以极大的降低对各个组件间的耦合度,从而提高组件的处理效率。因为消息队列的存在,可以使我们对任务进行异步处理,这样可以减少请求响应时间和解耦。同时由于使用了消息队列,只要保证消息格式不变,消息的发送方和接收方并不需要彼此联系,也不需要受对方的影响,即解耦和。所谓解耦,就是说A系统产生一条数据,发送到MQ里面去,哪个系统需要数据自己去MQ里面消费。如
分类:
其他好文 时间:
2019-06-03 22:16:08
阅读次数:
195
引导 Windows环境下JvisulaVM一般存在于安装了JDK的目录${JAVA_HOME}/bin/JvisualVM.exe,它支持(本地和远程)jstatd和JMX两种方式连接远程JVM。 jstatd (Java Virtual Machine jstat Daemon)——监听远程服务 ...
分类:
其他好文 时间:
2019-06-01 19:40:10
阅读次数:
128
异常: --14:53:08,702 ERROR:com.alibaba.druid.pool.DruidDataSource. {dataSource-1} init errorjava.sql.SQLException: not support oracle driver 1.0 at com. ...
分类:
数据库 时间:
2019-05-16 15:14:30
阅读次数:
148
Java多线程非常复杂,可以使用BlockingQueue和Executor等工具类来简化使用。但还是要弄清wait()、notify()和notifyAll()的作用和用法。它们都是native方法 一、wait() 作用:告诉当前调用它的方法释放锁并sleep,直到其它某个线程也进入sleep状 ...
分类:
编程语言 时间:
2019-05-13 16:10:22
阅读次数:
155
什么是storm的并发度 一个topology(拓扑)在storm集群上最总是以executor和task的形式运行在suppervisor管理的worker节点上。而worker进程都是运行在jvm虚拟机上面的,每个拓扑都会被拆开多个组件分布式的运行在worker节点上。 1.worker 2.e ...
分类:
其他好文 时间:
2019-05-10 21:56:15
阅读次数:
130
一、基本架构 1、Executor它是"执行者"接口,它是来执行任务的。准确的说,Executor提供了execute()接口来执行已提交的 Runnable 任务的对象。Executor存在的目的是提供一种将"任务提交"与"任务如何运行"分离开来的机制。只有一个接口:void execute(Ru ...
分类:
编程语言 时间:
2019-05-10 15:06:46
阅读次数:
134
ThreadPoolTaskExecutor提供TaskDecorator可以实现类似ThreadPoolExecutor.afterExecute()类似功能 taskDecorator主要是对Runnable任务装饰一下, 在任务执行时完成异常日志打印、ThreadLocal清理等功能 但是对C ...
分类:
编程语言 时间:
2019-04-30 23:33:59
阅读次数:
192
在spark的资源调度中 1、集群启动worker向master汇报资源情况 2、Client向集群提交app,向master注册一个driver(需要多少core、memery),启动一个driver 3、Driver将当前app注册给master,(当前app需要多少资源),并请求启动对应的Ex ...
分类:
其他好文 时间:
2019-04-30 12:23:20
阅读次数:
140
set spark.executor.instances=20; set spark.executor.cores=5; set spark.executor.memory=5G; ...
分类:
其他好文 时间:
2019-04-27 00:46:46
阅读次数:
172