一、简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。它集成高性能异步下载，队列，分布式，解析，持久化等。 Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。 ...
分类：
其他好文 时间：
2019-09-06 20:06:13
阅读次数：
114
一、什么是异步 同步和异步主要用于修饰方法。当一个方法被调用时，调用者需要等待该方法执行完毕并返回才能继续执行，我们称这个方法是同步方法；当一个方法被调用时立即返回，并获取一个线程执行该方法内部的业务，调用者不用等待该方法执行完毕，我们称这个方法为异步方法。 异步的好处在于非阻塞(调用线程不会暂停执 ...
分类：
其他好文 时间：
2019-09-05 13:27:48
阅读次数：
112
此模块只有在unix系统上才有，windows没有。文档地址：https://docs.python.org/3.7/library/fcntl.htmlhttps://www.docs4dev.com/docs/zh/python/3.7.2rc1/all/library-fcntl.html多进程示例程序importfcntlimportosimporttimefrommultiprocess
分类：
编程语言 时间：
2019-09-04 23:10:24
阅读次数：
151
Nginx：1、轻量级，采用C进行编写，同样的web服务，会占用更少的内存及资源2、抗并发，nginx以epollandkqueue作为开发模型，处理请求是异步非阻塞的，负载能力比apache高很多，而apache则是阻塞型的。在高并发下nginx能保持低资源低消耗高性能，而apache在PHP处理慢或者前端压力很大的情况下，很容易出现进程数飙升，从而拒绝服务的现象。3、nginx处理静态文件好，
分类：
Web程序 时间：
2019-09-04 15:07:37
阅读次数：
85
TCP 协议下的 socket 通信 TCP UDP 的区别 三次握手 四次挥手 七层协议 粘包 (方案) 什么是进程 , 什么是线程 二者的区别 阻塞 和非阻塞 守护进程和守护线程的区别 GIL 锁(重点) 为什么在有 GIL 锁的情况下,还要使用普通锁 SQL 语句 事务四大特性 pymysql ...
分类：
数据库 时间：
2019-09-03 22:34:28
阅读次数：
147
问题 问题1：为什么netty用NIO，而不是AIO 问题2：IO读写数据的流程是什么？数据走向是什么样的 问题3：阻塞和非阻塞之间有直接的效率区分么？ 问题4： 其他 1. jvm为什么要使用堆外内存，堆外内存如何做数据拷贝 2. netty的零拷贝是真的零拷贝么？是怎么实现的？ 参考： http ...
分类：
其他好文 时间：
2019-09-02 19:29:16
阅读次数：
130
一、客户端 vs 服务器 二、静态页面 vs 动态页面 三、什么是node.js 1.node.js是一个基于Chrome的V8引擎的JavaScript运行环境使用了事件驱动以及非阻塞的I/O式模型 nodejs中的npm是全球最大的包管理网站 2.V8引擎是一款最好的JavaScript脚本引擎 ...
分类：
其他好文 时间：
2019-09-02 14:07:36
阅读次数：
68
定位的场景 MicroPython 在设计上最初就是为了嵌入式微处理器运行，例如在 nRF51822 (256kB flash + 16kB RAM) 的芯片上也可以运行起来，也有人肾得慌在 STM32F103 上跑起来了，从代码上来看 Python 函数栈的官方默认是 16K RAM，也就意味着它 ...
分类：
编程语言 时间：
2019-09-02 13:31:45
阅读次数：
68
Tornado,Nodejs IO不占CPU ...
分类：
其他好文 时间：
2019-09-02 12:09:31
阅读次数：
96
所谓mokey patch就是运行时替换 比如gevent库需要修改内置的socket from gevent import monkey; mokey.patch_socket() 这样就把内置的阻塞的 socket替换成非阻塞的socket 看代码 ...
分类：
其他好文 时间：
2019-09-01 23:26:27
阅读次数：
99
