第一种： 编译和重编译执行计划。第二种： 排序与聚合。第三种： 表格连接操作。第四种： max degree of parallelism。第五种： max worker threads。第六种： cost threadhold parallelism // 每...
分类：
数据库 时间：
2014-10-08 23:45:27
阅读次数：
327
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 ? Q1：AppClient和worker、master之间的关系是什么？ :AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器...
分类：
其他好文 时间：
2014-10-08 23:23:57
阅读次数：
335
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第15期互动问答分享】Q1：AppClient和worker、master之间的关系是什么？:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应用程序的代表，要完成程序的registerApplication等功能；当程序完成..
分类：
其他好文 时间：
2014-10-08 17:59:06
阅读次数：
166
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】
Q1：AppClient和worker、master之间的关系是什么？
AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类：
其他好文 时间：
2014-10-08 16:47:15
阅读次数：
212
本文首发于烂泥行天下。前几篇文章，我们使用nginx都是在linux环境下，今天由于工作的需要。需要在windows环境也使用nginx搭建web服务器。下面记录下有关nginx下的搭建与配置。注意本次实验使用的windowsserver200364bit，而且还是在虚拟机中。IP地址为192.168.1.221首先去官网..
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。...
分类：
其他好文 时间：
2014-10-05 03:14:47
阅读次数：
258
本文由秀依林枫提供友情赞助，首发于烂泥行天下。 前几篇文章，我们使用nginx都是在linux环境下，今天由于工作的需要。需要在windows环境也使用nginx搭建web服务器。 下面记录下有关nginx下的搭建与配置。 注意本次实验使用的windows server 2003 64bit，而且还...
起因：最近需要从hbase中向 ES中导一批数据，使用multiprocessing 启动多个程序同时向ES导数据，可以大大提高效率，因为导数的任务是可以按照时间分割的。
令我十分不解的，multiprocessing 是如何实现任务的分发，以及结果的回传的。我希望能够把它的实现机制与操作系统的进程机制对应起来。
经过阅读代码，得出的结论如下：
1. 父进程作为整个任务的分发器，每个worker是一个子进程
2. 子进程和父进程之间通过管道通讯，包括任务的分发和结果的回传（2个【管道】) ，管道通过【信号量...
分类：
其他好文 时间：
2014-10-03 13:57:04
阅读次数：
284
worker_cpu_affinity
Syntax:worker_cpu_affinitycpumask[cpumask...]
Default:none
Linuxonly.
WiththisoptionyoucanbindtheworkerprocesstoaCPU,itcallssched_setaffinity().Forexample
worker_processes2;
worker_cpu_affinity0110;
worker_processes4;
worker_cpu_affi..
分类：
其他好文 时间：
2014-10-02 09:32:13
阅读次数：
155
Nginx默认没有开启利用多核CPU （忍不住吐槽，然怪总感觉服务器性能没充分发挥）, 我们可以通过增加worker_cpu_affinity配置参数来充分利用多核CPU。CPU是任务处理，计算最关键的资源，CPU核越多，性能就越好。配置Nginx多核CPU,worker_cpu_affinity使...
分类：
其他好文 时间：
2014-10-01 22:18:41
阅读次数：
241
