16/03/0400:21:09WARNSparkContext:UsingSPARK_MEMtosetamountofmemorytouseperexecutorprocessisdeprecated,pleaseusespark.executor.memoryinstead.16/03/0400:21:09ERRORSparkContext:ErrorinitializingSparkContext.org.apache.spark.SparkException:CouldnotparseMasterUR..
分类：
其他好文 时间：
2016-03-03 17:45:33
阅读次数：
11527
1、Executor是任务执行器，该接口里面只含有一个方法。原来创建新的线程都是采用new Thread(new Runnable())的方式创建，该接口将原来提交任务的方式进行了进一步的抽象。 /** * Executes the given command at some time in the
分类：
其他好文 时间：
2016-02-21 00:15:56
阅读次数：
217
如果你的Spark程序在执行过程中报出如下类似的错误：ERROR Executor: Exception in task xxx in stage xxx
java.lang.OutOfMemoryError: unable to create new native thread
那么可能性非常大的原因是你当前通过spark-submit或spark-sql启动的程序中开启了过多的进程，以至超过了操...
分类：
编程语言 时间：
2016-02-20 17:40:54
阅读次数：
174
第一次看源码还是Spark 1.02。这次看新源码发现调度方式有了一些新的特征，在这里随便写一下。 不变的是，master还是接收Appclient和worker的消息，并且在接收RegisterApplication等消息后会执行一遍schedule()。schedule()依旧会先找到空闲的wo
分类：
其他好文 时间：
2016-02-16 11:30:10
阅读次数：
149
线程生命周期： 线程池：是预先创建线程的一种技术。线程池在还没有任务到来之前，创建一定数量的线程，放入空闲队列中，然后对这些资源进行复用。减少频繁的创建和销毁对象。 java里面线程池的顶级接口是Executor,是一个执行线程的工具。 线程池接口是ExecutorService。 java.uti
分类：
编程语言 时间：
2016-02-02 16:14:03
阅读次数：
167
版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS 昨晚听了王家林老师的Spark IMF传奇行动第21课：从Spark架构中透视Job，笔记如下： 默认一个worker有一个executor，也可以设置多个，当cpu利用不足时。 并行度也是被继承的 当Spark集群启动的时候，
分类：
其他好文 时间：
2016-01-29 00:27:22
阅读次数：
230
话说用Jmeter也不是第一次了。由于换电脑重新安装了JDK， 然后下载了JMETER。 解压后运行Jmeter.bat竟然报错了。好吧，网上各种找答案，有的说JDK没有配置好，有的说要改jmeter.bat文件。可是运行javac -version没发现配置错误，也改了文件，还是同样错误。后来觉得...
分类：
编程语言 时间：
2016-01-22 21:16:38
阅读次数：
335
昨晚听了王家林老师的第13课Spark内核架构解密，课堂笔记如下：executor中线程池并发执行和复用，Spark executor, backed by a threadpool to run tasks.默认一个work为一个Application只开启一个executor。一个worker里...
分类：
其他好文 时间：
2016-01-17 16:03:01
阅读次数：
152
这一章节我们来讨论一下Executor的第一个话题线程池。1.什么是线程池？（下面的解释来自http://baike.haosou.com/doc/2511076-2653416.html）线程池是一种多线程处理形式，处理过程中将任务添加到队列，然后在创建线程后自动启动这些任务。线程池线程都是后台线程。每个线程都使用默认的堆栈大小，以默认的优先级运行，并处于多线程单元中。如果某个线程在托管代码中空...
分类：
编程语言 时间：
2016-01-17 13:36:34
阅读次数：
169
mybatis支持插件来插入自定制的处理过程，所有的plugin都需实现Interceptor接口，自定制的处理过程可以在Executor，ParameterHandler，ResultSetHandler，StatementHandler四个处理过程中插入，原理是在使用这四中类型处理数据的时候使用...
分类：
其他好文 时间：
2016-01-08 20:05:04
阅读次数：
7946
