NUMA简介在传统的对称多处理器(SMP, Symmetric Multiprocessing)系统中，整个计算机中的所有cpu共享一个单独的内存控制器。当所有的cpu同时访问内存时，这个内存控制器常常成为性能瓶颈。同时，这种架构也不能适应使用大量的cpu的场景。于是，为了解决这些问题，越来越多的现...
序.multiprocessingpython中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完...
分类：
编程语言 时间：
2015-09-20 19:14:38
阅读次数：
191
Python的多进程Python 的MD5模块try-except-finally的使用方法：finally最后关闭一些东西。Python的多线程模块Python的pika模块mq模块出现错误：rabbitting 命令教程：http://zhanghua.1199.blog.163.com/blo...
分类：
编程语言 时间：
2015-09-09 21:02:47
阅读次数：
208
0x00 起今天在写一个小东西的时候，需要控制并发量，但又不能直接调用python multiprocessing（问题会在文后提到）。于是尝试用Queue来实现。最一开始的思路是这样的：from multiprocessing import Processfrom Queue import Que...
分类：
编程语言 时间：
2015-09-08 21:34:09
阅读次数：
202
通常，进程之间彼此是完全孤立的，唯一的通信方式是队列或管道。但可以使用两个对象来表示共享数据。其实，这些对象使用了共享内存（通过mmap模块）使访问多个进程成为可能。Value( typecode, arg1, … argN, lock )
在共享内容中常见ctypes对象。typecode要么是包含array模块使用的相同类型代码（如’i’,’d’等）的字符串，要么是来自ctypes模块的类型对...
分类：
编程语言 时间：
2015-08-30 17:29:55
阅读次数：
377
下面的类可以创建进程池，可以吧各种数据处理任务都提交给进程池。进程池提供的功能有点类似于列表解析和功能性编程操作（如映射-规约）提供的功能。Pool( [ numprocess [, initializer [, initargs] ] ] )
创建工作进程池。
numprocess是要创建的进程数。如果省略此参数，将使用cpu_count()的值。【这里简单介绍一下：
from multip...
分类：
编程语言 时间：
2015-08-30 15:56:33
阅读次数：
460
作为使用队列的另一种形式，还可以使用管道在进程回见执行消息传递。Pipe( [ duplex])
在进程之间创建一条管道，并返回元组（conn1,conn2），其中conn1和conn2是表示管道两端的Connection对象。默认情况下，管道是双向的。如果将duplex置为False，conn1只能用于接收，而conn2只能用于发送。必须在创建和启动使用管道的Process对象之前调用Pipe(...
分类：
编程语言 时间：
2015-08-30 14:23:25
阅读次数：
168
multiprocessing模块支持进程间通信的两种主要形式：管道和队列。这两种方法都使用了消息传递实现的，但队列接口有意模仿线程程序中常见的队列用法。
有关Queue编程实例可以查看微博内容。Queue([maxsize])
创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。底层队列使用管道和锁定实现。另外，还需要运行支持线程以便队列中的数据传输到底层管...
分类：
编程语言 时间：
2015-08-30 12:57:32
阅读次数：
203
本篇主要讲解multiprocessing中的重要模块-进程。Process([group [,target [,name [,args [,kwargs]]]]])这个类表示运行在一个子进程中的任务，应该使用关键字参数来指定构造函数中的参数。target是当前进程启动时执行的可调用对象，args是传递给target的位置参数的元组，而kwargs是传递给target的关键字参数的字典。如果省略ar...
分类：
编程语言 时间：
2015-08-30 11:28:38
阅读次数：
184
multiprocessing在python2.6+版本中得到应用。multi意思为多个，processing意思为进程 也就是实现多进程。可以实现利用调用计算机的多个CPU实现多线程。multiprocessing是一个包，支持使用类似threading模块的API生成进程。multiprocessing包提供本地和远程两种并发，通过使用子进程而非线程有效地回避了全局解释器锁。 因此，multip...
分类：
编程语言 时间：
2015-08-27 13:21:21
阅读次数：
241
