“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】
Q1：AppClient和worker、master之间的关系是什么？
AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类：
其他好文 时间：
2014-10-08 16:47:15
阅读次数：
212
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。...
分类：
其他好文 时间：
2014-10-05 03:14:47
阅读次数：
258
起因：最近需要从hbase中向 ES中导一批数据，使用multiprocessing 启动多个程序同时向ES导数据，可以大大提高效率，因为导数的任务是可以按照时间分割的。
令我十分不解的，multiprocessing 是如何实现任务的分发，以及结果的回传的。我希望能够把它的实现机制与操作系统的进程机制对应起来。
经过阅读代码，得出的结论如下：
1. 父进程作为整个任务的分发器，每个worker是一个子进程
2. 子进程和父进程之间通过管道通讯，包括任务的分发和结果的回传（2个【管道】) ，管道通过【信号量...
分类：
其他好文 时间：
2014-10-03 13:57:04
阅读次数：
284
worker_cpu_affinity
Syntax:worker_cpu_affinitycpumask[cpumask...]
Default:none
Linuxonly.
WiththisoptionyoucanbindtheworkerprocesstoaCPU,itcallssched_setaffinity().Forexample
worker_processes2;
worker_cpu_affinity0110;
worker_processes4;
worker_cpu_affi..
分类：
其他好文 时间：
2014-10-02 09:32:13
阅读次数：
155
Nginx默认没有开启利用多核CPU （忍不住吐槽，然怪总感觉服务器性能没充分发挥）, 我们可以通过增加worker_cpu_affinity配置参数来充分利用多核CPU。CPU是任务处理，计算最关键的资源，CPU核越多，性能就越好。配置Nginx多核CPU,worker_cpu_affinity使...
分类：
其他好文 时间：
2014-10-01 22:18:41
阅读次数：
241
MSSQL 数据库分为 自然连接、内连接、外连接1、自然连接和内连接基本相同。不同之处在于，自然连接“=”两侧的列属性值必须相同，内连接可以不同，只要读取数据相同即可。自然连接 eg. select worker.职工号,depart.部门 from worker,depart where work...
分类：
数据库 时间：
2014-10-01 03:01:10
阅读次数：
336
初探nginx架构(100%)众所周知，nginx性能高，而nginx的高性能与其架构是分不开的。那么nginx究竟是怎么样的呢？这一节我们先来初识一下nginx框架吧。nginx在启动后，在unix系统中会以daemon的方式在后台运行，后台进程包含一个master进程和多个worker进程。我们...
分类：
其他好文 时间：
2014-09-30 12:11:22
阅读次数：
252
先看如下代码
class Worker implements Comparable {
private int age;
private String name;
public Worker(int age, String name) {
this.setAge(age);
this.setName(name);
}
@Override
public int hashCode() {
final int prime = 31;
int result = 1;
...
分类：
其他好文 时间：
2014-09-29 17:36:51
阅读次数：
182
alibaba/jstormJStorm 是一个分布式实时计算引擎。JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，Jstorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个worker 发生意外...
分类：
Web程序 时间：
2014-09-29 13:56:41
阅读次数：
273
初识ServiceWorker
初识ServiceWorker
在8月份的时候，W3C更新了一个叫Service
Workers的API。
了解过HTML5中的Web Worker的人可能会对这个API会更容易理解一些，不然的话会将这两个API搞混。
其实，Service Worker是基于Web Worker的事件驱动的，他们执行的机制都是新开一个线程去处理一...
分类：
其他好文 时间：
2014-09-29 10:55:50
阅读次数：
283
