python作用域知识点 python I/O多路复用 Python中有一个select模块，其中提供了：select、poll、epoll三个方法，分别调用系统的 select，poll，epoll 从而实现IO多路复用。 注意：网络操作、文件操作、终端操作等均属于IO操作，对于windows只支 ...
分类：
编程语言 时间：
2016-07-16 06:55:59
阅读次数：
231
IO模型什么是IO？IO：input和output的缩写，即输入/输出端口。每个设备都会有一个专用的I/O地址，用来处理自己的输入输出信息同步、异步、阻塞、非阻塞同步和异步的概念描述的是用户线程与内核的交互方式：同步是指用户线程发起IO请求后需要等待或者轮询内核IO操作完成后才能继续执行；而异步是指... ...
分类：
其他好文 时间：
2016-07-16 00:06:41
阅读次数：
452
版本：1.6.2
不管是hadoop中map/reduce还是spark中各种算子，shuffle过程都是其中核心过程，shuffle的设计是否高效，基本确定了整个计算过程是否高效。 设计难点在于shuffle过程涉及到大数据的IO操作（包括本地临时文件IO和网络IO），以及可能存在的cpu密集型排序计算操作。
在spark1.6.2版本，spark针对大型数据有三种shuffle 机制，...
分类：
其他好文 时间：
2016-07-15 21:24:19
阅读次数：
168
Redis 几个特点1、Redis使用单线程的IO复用模型，自己封装了一个简单的AeEvent事件处理框架，主要实现了epoll、kqueue和select，对于单纯只有IO操作来说，单线程可以将速度优势发挥到最大，但是Redis也提供了一些简单的计算功能，比如排序、聚合等，对于这些操作，单线程模型 ...
分类：
其他好文 时间：
2016-07-14 01:24:04
阅读次数：
335
python IO多路复用 一、多路复用概念： 监听多个描述符（文件描述符（windows下暂不支持）、网络描述符）的状态，如果描述符状态改变 则会被内核修改标志位，进而被进程获取进而进行读写操作 二、多路复用两种触发方式： 将就绪的文件描述符告诉进程后，如果进程没有对其进行IO操作，那么下次调用s ...
分类：
编程语言 时间：
2016-07-11 13:50:28
阅读次数：
303
我们开发的大部分软件，其基本业务流程都是：采集数据→将数据存储到数据库中→根据业务需求查询相应数据→对数据进行处理→传给前台展示。对整个流程进行分析，可以发现软件大部分的操作时间消耗都花在了数据库相关的IO操作上。所以对我们的SQL语句进行优化，可以提高软件的响应性能，带来更好的用户体验。 在开始介 ...
分类：
数据库 时间：
2016-07-09 23:48:06
阅读次数：
581
对数据的IO操作，都是写入到数据库文件中，sys.dm_io_virtual_file_stats Returns I/O statistics for data and log files. io_stall：Total time, in milliseconds, that users wait ...
分类：
数据库 时间：
2016-07-09 17:58:38
阅读次数：
359
嵌入式Linux系统编程（一）——文件IO一、文件IO概念linux文件IO操作有两套大类的操作方式：不带缓存的文件IO操作，带缓存的文件IO操作。不带缓存的属于直接调用系统调用（systemcall）的方式，高效完成文件输入输出。它以文件标识符（整型）作为文件唯一性的判断依据。这种操..
分类：
系统相关 时间：
2016-07-06 18:49:40
阅读次数：
422
一、线程（目的提高执行效率） 计算机中执行任务的最小单元 优点：共享内存，IO操作的时候，创造并发操作 缺点：抢占资源 二、进程（提高执行效率） 进程就是一个程序在一个数据集上的一次动态执行过程 优点：同时利用多个CPU，能够同时进行多个操作 缺点：消耗资源（重新开辟内存空间） 三、线程和进程的关系 ...
分类：
编程语言 时间：
2016-06-28 22:13:30
阅读次数：
223
1.优化JS逻辑，在上传前先同步相同文件进度，提高多用户上传效率。 2.优化文件块保存逻辑，减少相同文件块的写入操作，减少服务器IO操作，提高上传效率。 js变化： up6.js新增UrlQuery up6.file.js,post_file方法更新 在上传前先到服务器查询相同文件进度 1.新增f_... ...
分类：
其他好文 时间：
2016-06-27 19:41:19
阅读次数：
299
