Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互关系。
                            
                            
                                分类:
其他好文   时间:
2014-05-09 05:14:32   
                                阅读次数:
405
                             
                    
                        
                            
                            
                                memcached的内存分配没有用到c语言中自带的malloc函数,因为这个函数分配内存的时候效率很低,对于这种要求快速响应,对效率要求非常高的缓存软件来说非常不合适。memcached用的是自己的一套内存分配方法,叫做slab 
allocation。Memcache单进程最大可开的内存是2GB,如...
                            
                            
                                分类:
其他好文   时间:
2014-05-09 04:34:29   
                                阅读次数:
338
                             
                    
                        
                            
                            
                                internal class CacheHelper { /// /// Insert 
value into the cache using /// appropriate name/value pairs /// //...
                            
                            
                                分类:
其他好文   时间:
2014-05-09 04:19:56   
                                阅读次数:
246
                             
                    
                        
                            
                            
                                前言:作为一名Linux/unix系统工程师、项目实施工程师,这几年一直在涉及到对外项目,经手过许多小中型网站的架构,F5、LVS及Nginx接触的都比较多,我想一种比较通俗易懂的语气跟大家说明下何谓负载均衡,何谓Linux集群,帮助大家走出这个误区,真正意义上来理解它们,具体项目施工案例请参考我在...
                            
                            
                                分类:
系统相关   时间:
2014-05-08 18:00:02   
                                阅读次数:
448
                             
                    
                        
                            
                            
                                $sudocp 
*.ttf/usr/share/fonts/truetype/$sudofc-cache-f-v
                            
                            
                                分类:
其他好文   时间:
2014-05-08 17:46:12   
                                阅读次数:
250
                             
                    
                        
                            
                            
                                要实现网站所有目录均通过验证才能访问,可将配置文件...
                            
                            
                                分类:
Web程序   时间:
2014-05-08 17:20:34   
                                阅读次数:
404
                             
                    
                        
                            
                            
                                建立403error页面,403.html<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html><head><title>Error403</title></head><body><b><fontsize=5>S..
                            
                            
                                分类:
其他好文   时间:
2014-05-08 16:42:09   
                                阅读次数:
541
                             
                    
                        
                            
                            
                                使用shell判断系统时区if[[!`grep-aCST-8/etc/localtime`]];then
rm-rf/etc/localtime
ln-s/usr/share/zoneinfo/Asia/Shanghai/etc/localtime
fiNginx日志切割脚本#!/bin/bash
logs_path="/alidata/server/log/nginx/"
mv${logs_path}access.log${logs_path}access_$(date-d"ye..
                            
                            
                                分类:
系统相关   时间:
2014-05-08 16:41:18   
                                阅读次数:
403
                             
                    
                        
                            
                            
                                高速缓冲存储器
 
组成:控制部分和Cache存储器部分
 
Cache存储器部分用来存放主存的部分拷贝(副本)信息。控制部分的功能是判断CPU要访问的信息是否在Cache存储器中,若在即为命中,若不在则没有命中。命中时直接对Cache存储器寻址,未命中时,要按照替换原则决定主存的一块信息放到Cache存储器的哪一块里。
 
地址映像方法
在CPU工作时,送出的是主存地址,而应从Ca...
                            
                            
                                分类:
其他好文   时间:
2014-05-08 16:03:22   
                                阅读次数:
271
                             
                    
                        
                            
                            
                                Yslow的第4个经验法则指出:启用gzip压缩功能,可以减少HTTP传输的数据和时间此,从而减少客户端请求的响应时间。
本篇是Yslow法则的第四个,主要包括三个方面的内容:
1.      什么是gzip
2.      gzip与HTTP
3.      nginx启用gzip
什么是gzip?
Gzip最早出现在Unix系统中,是GNU的文件压缩工具。我们今天所...
                            
                            
                                分类:
Web程序   时间:
2014-05-08 15:50:14   
                                阅读次数:
451