Nimbus :负责资源分配和任务调度, 把任务相关的元信息写入Zookeeper 对应文件夹。 Supervisor :负责接受nimbus 分配的任务,启动和停止属于自己管理的worker 进程。 Worker :执行详细处理组件逻辑的进程。 Executor :执行spout/bolt 的线程 ...
分类:
其他好文 时间:
2017-04-14 15:45:54
阅读次数:
162
1. 什么是Task?
在前面的章节里描述过几个角色,Driver(Client),Master,Worker(Executor),Driver会提交Application到Master进行Work...
分类:
其他好文 时间:
2017-04-14 10:07:09
阅读次数:
288
异常:org.springframework.jdbc.CannotGetJdbcConnectionException jdbc.properties关于DB的配置(数据库名是liaody): 异常的解决:jdbc.properties中关于DB的配置部分,加上jdbc.: 修改applicati ...
分类:
其他好文 时间:
2017-04-10 22:16:30
阅读次数:
1177
Spark运行的时候,采用的是主从结构,有一个节点负责中央协调, 调度各个分布式工作节点。这个中央协调节点被称为驱动器( Driver) 节点。与之对应的工作节点被称为执行器( executor) 节点。 所有的 Spark 程序都遵循同样的结构:程序从输入数据创建一系列 RDD, 再使用转化操作派 ...
分类:
其他好文 时间:
2017-04-10 14:45:52
阅读次数:
128
相关文章目录: Java线程池使用和分析(一) Java线程池使用和分析(二) - execute()原理 execute()是 java.util.concurrent.Executor接口中唯一的方法,JDK注释中的描述是“在未来的某一时刻执行命令command”,即向线程池中提交任务,在未来某 ...
分类:
编程语言 时间:
2017-04-09 19:15:53
阅读次数:
411
前言 通过上一偏文章,我们知道:mybatis 的插件开发,主要是集中在Executor(执行器),ParameterHandler(参数处理器),ResultSetHandler(结果集处理器),StatementHandler( 语句处理器)。 我们知道了mybatis对外暴露的API(SqlS ...
分类:
其他好文 时间:
2017-04-09 13:56:42
阅读次数:
296
出现如上报错信息: 原因:web.xml中有一些Filter mapping specifies an unknown filter 可以说明有一些过滤器没有找到导致的错误 解决办法: 寻找xml中的过滤器是不是没有完全匹配上,或者没有被定义 ...
分类:
编程语言 时间:
2017-04-09 12:45:23
阅读次数:
6283
在应用程序中,总是会出现大量的任务,包括相同类型的和不同类型的。要快速处理这些任务,常见方法就是利用多线程,但是也不可能为每个任务都创建一个线程,这样内存也不够,并且线程的创建销毁开销很大。最好是少量线程处理大量任务,实现线程的复用,Executor干的就是这事。程序只需要把任务提交给Executo ...
分类:
编程语言 时间:
2017-04-09 10:39:45
阅读次数:
231
1、每当看到下面这种代码 new Thread(runnable).start() 时,请考虑用Executor 2、Executor 1)创建方式:Executors.new.. 2)通过使用Executor,可以实现各种调优、管理、监视、记录日志、错误报告 3)Executor有4个生命周期:创 ...
分类:
其他好文 时间:
2017-04-09 00:17:23
阅读次数:
191
1. 插件初始化 MyBATIS是在初始化上下文环境的时候就初始化插件的,我们看到源码: 它最后是把所有的插件按你配置的顺序保存在一个list对象里面。 3、插件的取出: MyBATIS的插件可以拦截Executor,StatementHandler,ParameterHandler和ResultH ...
分类:
其他好文 时间:
2017-04-07 12:48:29
阅读次数:
162