1.先解释varnish是什么？[摘]Varnish是一款高性能开源的Http加速器（其实是反向代理）。工作流程：与服务器软件类似，分为master（management）进程和child（worker，主要做cache的工作）进程。master进程读入命令，进行一些初始化，然后fork并监控child进程。child进程分配若..
分类：
其他好文 时间：
2014-09-04 03:00:18
阅读次数：
167
spark对内存有一定的要求，内存不够会因为gc而oom。
1、默认情况下，一个worker的内存0.6用于cache，0.4用于task，可以通过设置该值提高每个worker的cache大小
spark.storage.memoryFraction 0.8
2、设置并行task数，提高reducer效率
spark.default.parallelism 4
这个在1....
分类：
其他好文 时间：
2014-09-03 21:21:47
阅读次数：
338
TBOX的线程池通过在每个worker中批量一次拉取多个task，对锁的竞争进行了优化。
由于每个task的函数实现不会太多，所以可以根据每个task的函数地址做hash，统计出每个task执行所花费的平均时间。然后根据这个平均值来动态计算每个worker一次拉取的task的数量，TBOX里面...
分类：
编程语言 时间：
2014-09-02 11:55:44
阅读次数：
223
最近在学习libjingle_peeconnection的代码不知道应该如何写起，就先从类和各种数据结构列起吧PeerConnectionFactory：在创建PeerConnectionFactory的实例的时候会创建两个thread （ signaling_thread_ 和worker_thr...
分类：
其他好文 时间：
2014-09-01 17:25:03
阅读次数：
263
背景： 出现cpu高于常规的告警排查： 1.开跟踪，没有发现cup特别高的查询 2.查看内核cpu使用量，看是否是sql server 端引起 3.查看负荷，是否负荷特别高这里使用 batch request 4.全部无解，sql运行都正常，在thread，worker，task级别查看也...
分类：
其他好文 时间：
2014-08-30 01:15:58
阅读次数：
247
前段时间遇到了这样一个需求某一客户端向一个服务器提交任务服务器再将分发下去由对于的工作人员来完成前辈告诉我用gearman搭建一个分布式系统。gearman有三个部分，client、service和workerclient：提交任务service：分配任务worker：执行任务它可以实现的效果就是一...
分类：
编程语言 时间：
2014-08-28 11:17:49
阅读次数：
271
TBOX的线程池通过在每个worker中批量一次拉取多个task，对锁的竞争进行了优化。 由于每个task的函数实现不会太多，所以可以根据每个task的函数地址做hash，统计出每个task执行所花费的平均时间。然后根据这个平均...
分类：
编程语言 时间：
2014-08-25 10:13:54
阅读次数：
235
1：高可用性集群 强调的是高可用性。2：负载均衡集群 不强调高可用性，强调负载的均衡3：高吞吐集群 注重吞吐量，又叫做SIMD(single instruction multiple data)，每个worker的功能相同，数据不同。4：分布式计算 又叫做MIMD(multiple inst...
分类：
其他好文 时间：
2014-08-23 19:02:41
阅读次数：
251
背景：通过性能监控发现上线服务器cpu某核占用率已经达到了100%，而且是由我们的某个核心服务导致的。幸亏由于我们的服务进程由多个相同worker（线程）调度承担的，所以除了CPU占用率高之外，并没有对服务造成影响。随着上次我们找到那个吃IO的罪犯，这次我们要追捕的是潜伏在..
分类：
其他好文 时间：
2014-08-22 11:01:36
阅读次数：
192
一，servlet容器如何同时处理多个请求。 Servlet采用多线程来处理多个请求同时访问，Servelet容器维护了一个线程池来服务请求。 线程池实际上是等待执行代码的一组线程叫做工作者线程(Worker Thread)，Servlet容器...
分类：
编程语言 时间：
2014-08-21 13:30:54
阅读次数：
215
