org.apache.kafka.common.client.Selector实现了Selectable接口，用于提供符合Kafka网络通讯特点的异步的、非阻塞的、面向多个连接的网络I/O. 这些网络IO包括了连接的创建、断开，请求的发送和接收，以及一些网络相关的metrics统计等功能。 所以，它 ...
分类：
Web程序 时间：
2016-07-25 01:42:03
阅读次数：
2789
这里的IO是指网络IO python中通过select模块实现IO多路复用，select模块中有select、poll、epoll等方法 下面例子以select模块实现IO多路复用 仅仅只有IO多路复用只能实现伪并发 服务器端 #!/usr/bin/env python # -*- coding:u ...
分类：
编程语言 时间：
2016-07-23 20:56:07
阅读次数：
180
1、前言 在网络编程中，阻塞、非阻塞、同步、异步经常被提到。unix网络编程第一卷第六章专门讨论五种不同的IO模型，Stevens讲的非常详细，我记得去年看第一遍时候，似懂非懂，没有深入理解。网上有详细的分析：http://blog.csdn.net/historyasamirror/article ...
分类：
其他好文 时间：
2016-07-21 06:19:45
阅读次数：
130
版本：1.6.2
不管是hadoop中map/reduce还是spark中各种算子，shuffle过程都是其中核心过程，shuffle的设计是否高效，基本确定了整个计算过程是否高效。 设计难点在于shuffle过程涉及到大数据的IO操作（包括本地临时文件IO和网络IO），以及可能存在的cpu密集型排序计算操作。
在spark1.6.2版本，spark针对大型数据有三种shuffle 机制，...
分类：
其他好文 时间：
2016-07-15 21:24:19
阅读次数：
168
1.1监控Hbase运行状况
1.1.1操作系统
1.1.1.1IO
a.群集网络IO，磁盘IO，HDFS IO
IO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大量压缩操作。
2.正在执行mapreduce作业
可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据：
b.Io wait
磁盘IO对集群的...
分类：
其他好文 时间：
2016-07-13 01:35:32
阅读次数：
314
Redis 的作者 Salvatore Sanfilippo 曾经对这两种基于内存的数据存储系统进行过比较：
Redis支持服务器端的数据操作：Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常...
分类：
系统相关 时间：
2016-07-12 12:25:48
阅读次数：
237
反向代理过程、作用;Nginx特点详解;(辅助理解：关于网络IO之阻塞、非阻塞、同步、异步） ...
分类：
其他好文 时间：
2016-07-11 12:14:10
阅读次数：
266
Redis的作者Salvatore Sanfilippo曾经对这两种基于内存的数据存储系统进行过比较：
Redis支持服务器端的数据操作：Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常和一般的GET/SET一样高...
分类：
系统相关 时间：
2016-07-03 19:23:58
阅读次数：
253
无论是图片，文档，声音，在网络IO,磁盘io中都是以字节流的方式存在及传递的，但是我们拿到字节流怎么解析呢?这句话就涉及了编码，解码两个过程，从字符数据转化为字节数据就是编码，从字节数据转化为字符数据是解码，可能有人疑问，一个字符不是一个字节，两个字节吗？一堆字符不就是一堆字节吗，需要转什么？好，刚才所说 的以及涉及到编码了，有的编码是一个字节一个字符，就像ASCII码，但是汉字以及其他语言文字太多，很明显一个字节不能表示所有字符，所以才会引申出如 此多的编码，现在主要讨论ISO-8859-1,utf-8,...
分类：
编程语言 时间：
2016-07-03 19:21:44
阅读次数：
288
以下仅供自己翻阅，因为时间久了会忘1、write前没必要加缓冲区，没用，socket自己有，他会拆分成tcp包，自己去管理，至于高级点的语言那些bufferio,nio等对象他们带的那个对于文件io效果效果很大，网络Io应该不大(我没测过)，有一种情况假如吞吐量很大，突然网络抖动一下，有可能writ ...
分类：
其他好文 时间：
2016-07-02 10:17:50
阅读次数：
125
