一个cpu在运作的时候采用切片法，因此一个cpu在微观角度只能处理一个进程，现在的处理器大多是4核，可以同时处理4个任务， 在开启进程的时候操作系统需要给这个进程分配空间，地址等配指，这是很耗费时间的，所以在操作系统中，有数据池得概念，数据池中有几个进程由cpu决定 比如如果有4核那就有4个进程，当 ...
分类：
系统相关 时间：
2018-02-05 19:57:44
阅读次数：
226
仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多，为了方便大家归类记忆，我将这部分大致分为四个部分：创建进程部分，进程同步部分，进程池部 ...
分类：
其他好文 时间：
2018-02-02 18:33:51
阅读次数：
179
#!usr/bin/env python# -*- coding:utf-8 -*-__author__ = "Samson"import multiprocessingimport timedef run(name): time.sleep(2) print("process start...%s ...
分类：
编程语言 时间：
2018-02-01 00:17:46
阅读次数：
219
一、需求 最近准备爬取某电商网站的数据，先不考虑代理、分布式，先说效率问题（当然你要是请求的太快就会被封掉，亲测，400个请求过去，服务器直接拒绝连接，心碎），步入正题。一般情况下小白的我们第一个想到的是for循环，这个可是单线程啊。那我们考虑for循环直接开他个5个线程，问题来了，如果有一个url ...
分类：
编程语言 时间：
2018-01-31 18:36:42
阅读次数：
147
一、paramiko模块 二、ssh登录过程和上传下载 三、进程和线程简绍 四、多线程、多线程实例 五、守护线程 六、线程锁 七、递归锁 八、信号量 九、线程间通信event 十、queue消息队列 十一、进程Queue数据传递 十二、pipe 管道通信 十三、进程池和回调函数 ...
分类：
编程语言 时间：
2018-01-26 15:50:45
阅读次数：
195
问题起因 最近要将一个文本分割成好几个topic，每个topic设计一个regressor，各regressor是相互独立的，最后汇总所有topic的regressor得到总得预测结果。没错！类似bagging ensemble！只是我没有抽样。文本不大，大概3000行，topic个数为8，于是我写 ...
分类：
编程语言 时间：
2018-01-23 18:20:23
阅读次数：
208
前提背景： 项目中需要定时去根据数据库A 的数据来同步数据库B 。一开始在global全局文件中写定时任务，发现存在进程池被回收，以及IIS 重启等一系列问题 导致定时任务执行个一两天就中断的情况（代码是从网上copy的发现注释有很大的问题，另外还需要更改iis的回收机制来配合代码，否则不会成功） ...
进程少时，手动单个创建进程； 进程多时，用进程池创建进程。 用进程池创建子进程 multiprocessing.Pool常用函数解析： apply_async(func[, args[, kwds]]) ：使用非阻塞方式调用func（并行执行，堵塞方式必须等待上一个进程退出才能执行下一个进程），ar ...
分类：
系统相关 时间：
2018-01-18 11:46:20
阅读次数：
179
阅读目录 一 multiprocessing模块介绍 二 Process类的介绍 三 Process类的使用 四 守护进程 五 进程同步(锁) 六 队列（推荐使用） 七 管道 八 共享数据 九 信号量(了解） 十 事件(了解) 十一 进程池 一 multiprocessing模块介绍 python中 ...
分类：
编程语言 时间：
2018-01-18 00:53:44
阅读次数：
295
多进程典型案例： 1、将子进程的进程名作为列表中的元素，在父进程中遍历（异步）执行 ...
分类：
编程语言 时间：
2018-01-02 19:52:25
阅读次数：
140
