Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
平时可以感觉到的几个事实： 1 音乐、视频数据都是放在文件系统中、2 大图片文件是放到文件系统中的、3 小的配置文件，文件系统会比数据库的效率高出很多
假定在程序效率和关键过程相当且不计入缓存等措施的条件下，读写任何类型的数据都没有直接操作文件来的快，不论MSYQL过程如何，最后都要到磁盘上去读这个“文件”（记录存储区等效），所以当然这一切的前提是只读 内容，无关任何排序或查找操...
分类：
微信 时间：
2014-05-08 06:00:49
阅读次数：
672
Hibernate复习(五)对象的三种状态和缓存机制...
分类：
系统相关 时间：
2014-05-08 05:01:15
阅读次数：
310
参考自《大型网站技术架构》第1~3章
1、大型网站架构演化发展历程
（1）初始阶段的网站架构：一台服务器分别作为应用、数据、文件服务器
（2）应用服务和数据服务分离：三台服务器分别承担上述三项工作，其中应用服务器要求CPU强大、数据库服务器需求更快的硬盘和内存，文件服务器需要较大的硬盘。
（3）使用缓存改善网站性能：分为本地缓存以及缓存在专门的分布式服务器上的远程缓存。
（4）使...
分类：
Web程序 时间：
2014-05-08 04:42:48
阅读次数：
430
Hibernate包括两个级别的缓存：
Session（默认启动）一级缓存
SessionFactory（默认关闭）二级缓存
二级缓存速度快
一旦在应用中开启了SessionFactory二级缓存，那么Session默认使用二级缓存
开启二级缓存要在hibernate.cfg.xml中添加：
true
org.hibernate.cache.ehcache.EhCache...
分类：
系统相关 时间：
2014-05-08 04:37:40
阅读次数：
477
大数据量引起的高并发处理：
1、数据量超过百万时增加集群服务器，比如使查询和操作分别在不同服务器上执行，如果数据量超过千万时这样会增加服务器间相互复制数据的资源开销，这时考虑把数据资源比如用户表根据ID放在不同的数据库集群中。
2、是页面静态化，因为html比jsp更节省资源和性能，考虑将页面做成html返回给客户，比如用freemarker工具
3、缓存技术，集群中采用memcached...
分类：
其他好文 时间：
2014-05-08 04:18:07
阅读次数：
361
面对大量的PV访问，web服务器的缓存功能不容小觑，缓存在互联网中的地位已经举足轻重。那么好的缓存机制对web服务来说已经不可获取，varnish的缓存功能有目共睹，那么我们似乎没理由不了解一下基于varnish是如何让实现缓存的。varnish的官方站点：https://www.varnish-cache.or..
分类：
Web程序 时间：
2014-05-08 03:27:52
阅读次数：
510
一、实验环境服务器IP地址系统版本varnish服务器172.16.8.1Centos6.5web1服务器172.16.8.5:81Centos6.5web2服务器172.16.8.5:82Centos6.5img1服务器172.16.8.5:83Centos6.5img2服务器172.16.8.5:84Centos6.5php1服务器172.16.8.5:85Centos6.5php2服务器172.16.8.5:86Centos6.5..
分类：
其他好文 时间：
2014-05-08 02:59:08
阅读次数：
531
varnish简介varnish是一款强大的http加速器，其设计初衷因为计算机越来越复杂，不像那个只有内存与硬盘的存储媒介的年代，如今的计算机系统除了内存外还有cpu的L1、L2、L3快取，因此当初的Squidcache自行处理物件替换的架构不可能得知这些情况而做到最佳，但操作系统可以得知该..
分类：
其他好文 时间：
2014-05-08 02:43:38
阅读次数：
587
DNS案例一：域名：abc.comdns服务器：192.168.2.100www:1.1.1.1ftp:2.2.2.2mail:3.3.3.3pop3smtpMX①安装准备mount/dev/cdrom/media/cdrom/cd/media/cdrom/Packages/llbind*yum--disablerepo=\*--enablerepo=c6-mediainstallbindbind-chrootbind-utilscd/var/named/chroot/该目..
