使用redis做为MySQL的缓存 介绍 在实际项目中，MySQL数据库服务器有时会位于另外一台主机，需要通过网络来访问数据库；即使应用程序与MySQL数据库在同一个主机中，访问MySQL也涉及到磁盘IO操作（MySQL也有一些数据预读技术，能够减少磁盘IO读写，此部分后续继续研究），总之，直接从M ...
分类：
数据库 时间：
2018-06-12 00:45:56
阅读次数：
205
1. 前言 Druid 的目标是提供一个能够在大数据集上做实时数据摄入与查询的平台，然而对于大多数系统而言，提供数据的快速摄入与提供快速查询是难以同时实现的两个指标。例如对于普通的RDBMS,如果想要获取更快的查询速度，就会因为创建索引而牺牲掉写入的速度，如果想要更快的写入速度，则索引的创建就会受到 ...
分类：
其他好文 时间：
2018-06-11 20:28:12
阅读次数：
183
一、iostat背景是我们在进行大量的数据更新操作，以此来查看磁盘的状态情况。我们查看磁盘IO，也主要是通过iostat这个命令来进行查看。iostat-d-k15-d表示，显示设备（磁盘）使用状态，去掉可以和CPU状态一起显示；-k某些使用block为单位的列强制使用Kilobytes为单位，改为-m（以MB为单位展示）；15表示，数据显示每隔1秒刷新一次，共显示10次。[root@olap02
分类：
数据库 时间：
2018-06-09 10:18:41
阅读次数：
170
11.22 访问日志不记录静态文件11.23 访问日志切割11.24 静态元素过期时间11.22 访问日志不记录静态文件网站大多元素为静态文件，如图片、css、js等，这些元素可以不用记录（占用日志文件,耗费磁盘io）hvim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf在customlog上定义SetEnvIf Request_URI &qu
分类：
其他好文 时间：
2018-06-04 11:37:36
阅读次数：
146
这是mr的一种优化策略，通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘io，提高mr运行速度（但也相应增加了cpu运算负担） 特性： 1.mr支持将map输出的结果或者reduce输出的结果进行压缩，以减少网络IO或最终输出数据的体积。 2.压缩特性使用得当能提高性能，但运用 ...
分类：
其他好文 时间：
2018-06-04 11:27:37
阅读次数：
138
Redis的应用场景非常广泛。虽然Redis是一个key-value的内存数据库，但在实际场景中，Redis经常被作为缓存来使用，如面对数据高并发的读写、海量数据的读写等。 举个例子，A网站首页一天有100万人访问，其中有一个“积分商城”的板块，要直接从数据库查询，那么一天就要多消耗100万次数据库 ...
分类：
其他好文 时间：
2018-05-29 20:36:42
阅读次数：
131
1.1docker是什么： Docker是通过内核虚拟化技术（namespaces及cgroups cpu、内存、磁盘io等）来提供容器的资源隔离与安全保障等。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运行时，不需要类似虚拟机（VM）额外的操作系统开销，提高资源利用率。 ...
分类：
其他好文 时间：
2018-05-25 19:35:49
阅读次数：
180
磁盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作，比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像1天和1分钟的差别一样。要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和 ...
分类：
系统相关 时间：
2018-05-22 18:28:15
阅读次数：
269
rsync工具介绍这个是个同步的工具，这个几乎每天都能用到。类似于cp和cp不一样。不同机器传输文件，备份，同台机器，A-B目录传输都可以。假设有一个A目录和一个B目录现在把A拷贝到B下去，A的数据一直在更新，每小时都要拷贝一次。浪费时间和磁盘io。我们用rsync方便，可以实现增量拷贝。它的同步只会把更新的文件给同步过来，不用覆盖，省时间。比如我们把/etc/passwd拷贝到/tmp/1.tx
分类：
其他好文 时间：
2018-05-15 17:27:44
阅读次数：
141
