这是mr的一种优化策略，通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘io，提高mr运行速度（但也相应增加了cpu运算负担） 特性： 1.mr支持将map输出的结果或者reduce输出的结果进行压缩，以减少网络IO或最终输出数据的体积。 2.压缩特性使用得当能提高性能，但运用 ...
分类：
其他好文 时间：
2018-06-04 11:27:37
阅读次数：
138
Redis的应用场景非常广泛。虽然Redis是一个key-value的内存数据库，但在实际场景中，Redis经常被作为缓存来使用，如面对数据高并发的读写、海量数据的读写等。 举个例子，A网站首页一天有100万人访问，其中有一个“积分商城”的板块，要直接从数据库查询，那么一天就要多消耗100万次数据库 ...
分类：
其他好文 时间：
2018-05-29 20:36:42
阅读次数：
131
一，FIO安装wget http://brick.kernel.dk/snaps/fio-2.2.5.tar.gz yum install libaio-develtar -zxvf fio-2.2.5.tar.gzcd fio-2.2.5makemake install 二，FIO用法： 随机读： ...
分类：
系统相关 时间：
2018-05-28 21:18:40
阅读次数：
259
进程管理 查看进程 查看进程： 查看进程树： top命令： 选项 d 秒数：指定top命令每隔几秒更新。默认是3秒 b: 使用批处理模式输出。一般和" n"选项合用 n 次数：指定top命令执行的次数。一般和" b"选项合用 在top命令的交互模式当中可以执行的命令： ?或h: x显示交互模式的帮助 ...
分类：
系统相关 时间：
2018-05-28 18:29:02
阅读次数：
244
1.1docker是什么： Docker是通过内核虚拟化技术（namespaces及cgroups cpu、内存、磁盘io等）来提供容器的资源隔离与安全保障等。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运行时，不需要类似虚拟机（VM）额外的操作系统开销，提高资源利用率。 ...
分类：
其他好文 时间：
2018-05-25 19:35:49
阅读次数：
180
一、引子 缓存有很多种解决方案，常见的是： 1.存储在内存中 : 内存缓存顾名思义直接存储在JVM内存中，JVM宕机那么内存丢失，读写速度快，但受内存大小的限制，且有丢失数据风险。 2.存储在磁盘中: 即从内存落地并序列化写入磁盘的缓存，持久化在磁盘，读写需要IO效率低，但是安全。 3.内存+磁盘组 ...
分类：
系统相关 时间：
2018-05-23 20:35:31
阅读次数：
229
磁盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作，比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像1天和1分钟的差别一样。要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和 ...
分类：
系统相关 时间：
2018-05-22 18:28:15
阅读次数：
269
随机读：fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G -numjobs=10 -runtime=1000 -group_reporting -n ...
分类：
其他好文 时间：
2018-05-17 00:55:41
阅读次数：
176
rsync工具介绍这个是个同步的工具，这个几乎每天都能用到。类似于cp和cp不一样。不同机器传输文件，备份，同台机器，A-B目录传输都可以。假设有一个A目录和一个B目录现在把A拷贝到B下去，A的数据一直在更新，每小时都要拷贝一次。浪费时间和磁盘io。我们用rsync方便，可以实现增量拷贝。它的同步只会把更新的文件给同步过来，不用覆盖，省时间。比如我们把/etc/passwd拷贝到/tmp/1.tx
分类：
其他好文 时间：
2018-05-15 17:27:44
阅读次数：
141
