1.1 进程与线程简介 1、什么是进程(process)?(进程是资源集合) 1. 程序并不能单独运行,只有将程序装载到内存中,系统为它分配资源才能运行,这种执行的程序就称之为进程 2. 程序和进程的区别就在于:程序是指令的集合,它是进程运行的静态描述文本;进程是程序的一次执行活动,属于动态概念 3 ...
分类:
编程语言 时间:
2017-11-27 18:49:39
阅读次数:
128
Socket Server模块 SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ,从而实现并发处理多个客户端请求的Socket服务端。即:每个客户端请求连接到服务器时,Socket服务端都会在服务器是创建一个“线程”或者“进 程” 专门负责处理当前客户端的所有请求。 ...
分类:
编程语言 时间:
2017-11-27 12:47:41
阅读次数:
229
对于爬虫,python进行并发抓取的实现方式主要有以下几种:进程,线程,协程。 性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 一 多进程执行 可以实现并发,但是,请求发送出去后和返回之前,中间时期进程空闲 编写方式:1- 多进程直接返回处理 1 ...
分类:
其他好文 时间:
2017-11-25 13:01:03
阅读次数:
235
本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitMQ队列 Redis\Memcached缓存 Paramiko SSH Twsited网络框架 协程(单线程下实现多并发的效果) 协程,又称微线程,纤程。英文名Coro ...
分类:
编程语言 时间:
2017-11-07 01:20:11
阅读次数:
446
Gevent a. 进程 线程 协程 b. 阻塞 非阻塞 ...
分类:
其他好文 时间:
2017-11-04 11:10:07
阅读次数:
180
__author__=‘admin‘
fromgeventimportmonkey
monkey.patch_all(thread=False)
importgevent,time,os
fromthreadingimportThread,currentThread
frommultiprocessingimportProcess,Pool,current_process
fromconcurrent.futuresimportProcessPoolExecutor,ThreadPoolExecutor
de..
分类:
编程语言 时间:
2017-09-16 18:54:30
阅读次数:
251
1、一个应用程序,默认单进程,单线程;2、python GIL,全局解释器锁,cpu每次只能执行一个进程中的一个线程。3、多进程,多线程: IO操作使用多线程可以提高效率; 计算型操作使用多进程可以提高效率。 ...
分类:
编程语言 时间:
2017-09-06 19:41:27
阅读次数:
138
一、概念 1、进程 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。每个进程都有自己的独立内存空间,不同进程通过进程间通信来通信。由于进程比较重量,占据独立的内存,所以上下文进程间的切换开销(栈、寄存器、虚拟内存、文件句柄等)比较大,但相对比 ...
分类:
编程语言 时间:
2017-09-06 12:59:06
阅读次数:
166
一、上下文切换技术简述在进一步之前,让我们先回顾一下各种上下文切换技术。不过首先说明一点术语。当我们说“上下文”的时候,指的是程序在执行中的一个状态。通常我们会用调用栈来表示这个状态——栈记载了每个调用层级执行到哪里,还有执行时的环境情况等所有有关的信息。..
分类:
编程语言 时间:
2017-08-09 23:49:04
阅读次数:
224
本章内容: 线程(线程锁、threading.Event、queue 队列、生产者消费者模型、自定义线程池) 进程(数据共享、进程池) 协程 线程 Threading用于提供线程相关的操作。线程是应用程序中工作的最小单元,它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的 ...
分类:
编程语言 时间:
2017-07-30 19:06:23
阅读次数:
181