反向代理用的是nginx的proxy_pass功能
location / {
proxy_pass http://baidu.com;
}
这样可以把网站访问的目录转发到其他的网站。（可用于扫描网站目录、制作镜像站等等。。）
完整配置文件：
#user nobody;
worker_processes 1;
#error_log lo...
分类：
其他好文 时间：
2015-01-25 16:43:08
阅读次数：
236
这个模式所做的事情概括一下就是把多个不同的任务和操作合并到一个计算单元中，从而使云计算应用提高计算资源利用率，降低管理开销和任务之间连接交互的开销。
PS:我这里对后文中所翻译的“计算单元”做个小小的注释，这里的计算单元可以认为是逻辑的运行容器，可以是基于cgroup的各种container，也可以是像Storm中的worker，Spark中的Executor等等。这个模式除了在自己设计分布式系...
分类：
其他好文 时间：
2015-01-25 12:37:47
阅读次数：
333
#定义Nginx运行的用户和用户组user www www;#nginx进程数，建议设置为等于CPU总核心数。worker_processes 8;#全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]error_log /var/lo...
分类：
其他好文 时间：
2015-01-23 16:03:48
阅读次数：
146
一：nginx虚拟主机配置#user nobody;#只有一个工作子进程,可以自行修改,但太无益,因为要占用CPU,一般设置为 CPU数*核数worker_processes 1;#error_log logs/error.log;#error_log logs/error.log no...
分类：
其他好文 时间：
2015-01-22 12:42:13
阅读次数：
196
spark内核揭秘-12-AppClient注册Master
一个资源大管家，其职责主要包括两个方面：
* Cluster资源的管理和Cluster的通讯管理
*
* 资源管理
*** Worker资源 RegisterWorker WorkDirCleanup
*** Driver资源 RequestSubmitDriver RequestKillDriver
*** App资源 RegisteredApplication
*** Executor资...
分类：
移动开发 时间：
2015-01-21 22:38:51
阅读次数：
299
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析...
分类：
其他好文 时间：
2015-01-21 22:32:54
阅读次数：
307
转载请注明出处：
锁级别：
从前面的《扩展哈希表》知道：哈希表进行扩展时，有一个专门的线程负责将item数据从旧哈希表迁移到新哈希表(由此，也称这个线程为迁移线程)。此外，还有一些worker线程会时不时访问item(包括插入、删除和获取)。这些线程的对item所做的操作基本上都是互斥的，必须加锁控制。
如果只使用一个锁，抢到该锁才能使...
分类：
系统相关 时间：
2015-01-20 10:29:59
阅读次数：
226
由于 Nginx 工作在 master-worker 多进程模式，若所有 worker 进程在同一时间监听同一个端口，当该端口有新的连接事件出现时，每个 worker 进程都会调用函数 ngx_event_accept 试图与新的连接建立通信，即所有 worker 进程都会被唤醒，这就是所谓的“惊群”问题，这样会导致系统性能下降。幸好在 Nginx 采用了 ngx_accept_mutex 同步锁机制，即只有获得该锁的 worker 进程才能去处理新的连接事件，也就在同一时间只能有一个 worker 进程监...
分类：
其他好文 时间：
2015-01-19 21:03:51
阅读次数：
191
实验架构图：实验环境Nginx和Keepalived原理介绍参考博客：http://467754239.blog.51cto.com/4878013/15414211、nginxNginx进程基于于Master+Slave(worker)多进程模型，自身具有非常稳定的子进程管理功能。在Master进程分配模式下，Master进程永远不进行业务处理，只是进行任务..
分类：
其他好文 时间：
2015-01-19 11:05:43
阅读次数：
719
转载请注明出处：
半同步/半异步：
memcached使用半同步/半异步网络模型处理客户端的连接和通信。
半同步/半异步模型的基础设施：主线程创建多个子线程(这些子线程也称为worker线程)，每一个线程都维持自己的事件循环，即每个线程都有自己的epoll，并且都会调用epoll_wait函数进入事件监听状态。每一个worker线程(子线程)和...
分类：
系统相关 时间：
2015-01-14 11:11:46
阅读次数：
324
