适用于场景连接的列数据量很大，在分布式缓存中无法存储时，Bloom Filter 可解决这个问题，用很小的内存可有MAP端过滤掉不需要JOIN的数据，这样传到REDUCE的数据量减少，减少了网络传及磁盘IO。缺点Bloom Filter 会有一定的错误率，但是错误率很低，用空间换取了时间。并且，最终...
分类：
其他好文 时间：
2014-08-14 16:05:39
阅读次数：
284
基于prefix bloomfilter的过滤思想和get_range接口数据的特点，在导师的指导下，提出如下的简单方案，对get_range接口的范围查找过程进行优化，使得能够根据prefix进行过滤，减少无效的磁盘IO。...
分类：
数据库 时间：
2014-08-04 14:35:57
阅读次数：
248
前言本文的目的是为了解决在使用CloudStack（CloudPlatform）时，基于KVM虚拟化平台，Windows虚拟机的性能低下的问题。此性能，主要指磁盘IO和网卡性能。相关文档由于CS文档中，只强调了PV这个概念，根据PV模式区分使用不同的硬件接口类型。所以收集部分链接给大家扫盲。关于PV..
glog本身是很高效的，google的大牛肯定知道大规模的写日志用glog的话肯定会影响业务线程的处理，带负荷的磁盘IO谁都桑不起。比方levelDB就是默认异步写，更不用说google的三驾马车都是分布式的。之前看过其论文，简直是引领时代。在glog的issue里有人提出了异步写的问题，可是语焉不...
分类：
编程语言 时间：
2014-07-31 20:06:27
阅读次数：
388
FIO概述
fio是一个基于GPLV2授权的开源压力测试工具，主要是用来测试磁盘io性能，也有cpu，nic的io测试功能。
1、安装FIO
yum-yinstallwget
yum-yinstalllibaio-devel
wgethttp://brick.kernel.dk/snaps/fio-2.1.tar.gz
tarzxvffio-2.1.tar.gz
cdfio-2.1
make
makeinstall
2..
分类：
其他好文 时间：
2014-07-29 16:05:50
阅读次数：
300
了解一个系统的性能通常是参考一些度量值（Metric），而如何计算出这些Metric就是我们要讨论的。Little Law（排队理论：利特儿法则）和Utilization Law是Performance Engineering（System Engineering的一部分）常用的法则，它们都是数学理论，因此可作为性能计算的理论依据。详细分析两个法则超出了我个人的知识范围，因此我将仅仅谈一下如何应用...
分类：
其他好文 时间：
2014-07-20 10:25:28
阅读次数：
290
有时我们需要对执行SQL的具体执行过程做一个追踪分析，特别是在应用程序性能优化的时候。Oracle两个工具可以帮助我们做好性能分析，一个是SQL_TRACE,一个是SESSION_EVENT。SQL_TRACE跟踪SQL执行过程，如解析时间、执行时间、查询时间等；SESSION_EVENT跟踪执行过程的等待事件，如等待客户端响应时间，等待本地磁盘IO事件等等。
开启Oracle自动追踪...
分类：
数据库 时间：
2014-07-17 16:15:47
阅读次数：
314
数据库属于 IO 密集型的应用程序，其主要职责就是数据的管理及存储工作。而我们知道，从内存中读取一个数据库的时间是微秒级别，而从一块普通硬盘上读取一个IO是在毫秒级别，二者相差3个数量级。所以，要优化数据库，首先第一步需要优化的就是 IO，尽可能将磁盘IO转化为内存IO。本文先从 MySQL 数据库...
分类：
数据库 时间：
2014-07-06 17:17:32
阅读次数：
307
1、检查net-snmp是否支持IO监控snmpwalk-v1-c
public监控机的IPUCD|more执行如上命令，如果返回类似如下数据，则表示支持disk
io的监控，否则需要重新编译增加diskio-module模块。1.UCD-DISKIO-MIB::diskIOIndex.1=INTEGER:
12.UCD-DISKIO-MIB::diskIOIndex.2=INTEGER:23.UCD-D..
分类：
其他好文 时间：
2014-06-27 06:42:20
阅读次数：
396
磁盘 I/O 监控是 Unix/Linux 系统管理中一个非常重要的组成部分。它可以监控吞吐量、每秒 I/O 数、磁盘利用率、服务时间等信息，并且在发现异常时，发送告警信息给系统管理员，便于系统管理员进行调整数据布局等管理活动以达到优化系统总体性能的目的。不同的操作系统监控磁盘 I/O 的命令可能略...
分类：
系统相关 时间：
2014-06-18 11:02:31
阅读次数：
476
