这是mr的一种优化策略，通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘io，提高mr运行速度（但也相应增加了cpu运算负担） 特性： 1.mr支持将map输出的结果或者reduce输出的结果进行压缩，以减少网络IO或最终输出数据的体积。 2.压缩特性使用得当能提高性能，但运用 ...
分类：
其他好文 时间：
2018-06-04 11:27:37
阅读次数：
138
一、是什么 NIO：（non-bloking IO）非阻塞IO，为所有的原始类型提供缓存（buffer）支持。字符集编码解码解决方案。支持锁和内存映射文件的文件访问接口。提供多路非阻塞式的高伸缩性网络IO。（果然官网上都是一些非人类的东西）。 IO：广义的IO指的是计算机与外部世界或者是程序与计算器 ...
分类：
其他好文 时间：
2018-06-04 00:51:48
阅读次数：
130
threading并发服务器相比多进程服务器的优缺点：缺点： 1. 需要用到同步互斥 2. 可能受到GIL的影响，但是网络IO线程并发还是可以的优点： 资源消耗比较少使用模块 ： threading socket 步骤1. 创建套接字 绑定 监听2. 接收客户端连接请求 创建新的线程3. 主线程继续 ...
分类：
其他好文 时间：
2018-05-31 23:05:01
阅读次数：
181
nginx工作流程图http部分工作流程大致如一个master开启多个worker，网络io一般用epoll实现当个worker的高并发，文件io用sendfile，aio等高效移步io，实现一个http请求响应。io部分请参考：http://blog.51cto.com/marvin89/2115474主脚本请翻阅：http://blog.51cto.com/marvin89/2118341安装
分类：
Web程序 时间：
2018-05-28 12:37:26
阅读次数：
233
阻塞、非阻塞、同步、异步IO http://www.cnblogs.com/yunxitalk/p/9031306.html 介绍 在谈及网络IO的时候总避不开阻塞、非阻塞、同步、异步、IO多路复用、select、poll、epoll等这几个词语。在面试的时候也会被经常问到这几个的区别。本文就来讲一 ...
分类：
其他好文 时间：
2018-05-19 00:15:28
阅读次数：
121
阅读目录 一 IO模型介绍 二 阻塞IO(blocking IO) 三 非阻塞IO(non-blocking IO) 四 多路复用IO(IO multiplexing) 五 异步IO(Asynchronous I/O) 六 IO模型比较分析 七 selectors模块 IO模型介绍 为了更好地了解I ...
分类：
编程语言 时间：
2018-05-18 20:15:19
阅读次数：
221
常见的网络IO模型5种 阻塞IO(blocking IO), 无阻塞IO(noblocking IO), IO多路复用(IO multiplexing),信号驱动 （signal driven IO）,异步IO （asynchronous IO） 阻塞IO(blocking IO) 在linux中， ...
分类：
其他好文 时间：
2018-05-17 01:01:22
阅读次数：
234
介绍 在谈及网络IO的时候总避不开阻塞、非阻塞、同步、异步、IO多路复用、select、poll、epoll等这几个词语。在面试的时候也会被经常问到这几个的区别。本文就来讲一下这几个词语的含义、区别以及使用方式。Unix网络编程一书中作者给出了五种IO模型：1、BlockingIO - 阻塞IO2、 ...
分类：
其他好文 时间：
2018-05-13 11:50:59
阅读次数：
179
同步阻塞式IO开发简单，但在处理IO密集的并发任务时，非常浪费CPU资源，性能低；并且，当一个进程（线程）含有多个套接字上时，同步阻塞式IO会带来问题：因为同步阻塞式IO只支持进程（线程）阻塞在一个套接字上，其余套接字上的事件将得不到及时处理。 为解决这些问题，IO编程的世界诞生了更多的IO模型及实 ...
分类：
其他好文 时间：
2018-05-11 23:39:28
阅读次数：
177
转自 https://blog.csdn.net/u010039929/article/details/74217793 并且参照了 https://blog.csdn.net/songjifei/article/details/54311927 说明： hbase适合2中类型的查询一种是实时数据的 ...
分类：
其他好文 时间：
2018-05-03 10:22:44
阅读次数：
346
