问题提出
几天前,我在上一篇博客中写了如何使用urllib2模块来批量下载wallheaven上的图片资源,但是在我几次运行下来之后发现了一个非常严重的问题,如果下载图片数量非常多的话,程序需要运行很长时间。所以显然这样不是一个很好的解决方法,所以后来我在程序中加入了多线程,程序性能提升了何止数倍,下面是具体的解决过程。
问题解决
从我上一边的博客中不难看出,第...
分类:
编程语言 时间:
2015-08-15 20:01:43
阅读次数:
161
#-*-coding:UTF-8-*-#"""根据Redis的密码字典,暴力破解"""importredisimportsys,osimportthreadingBIN="/usr/local/bin/medusa"#medusa-uroot-p123456-h111.207.22.72-MsshdefthreadTask(plist,threadnum):forxvalinplist:print"Thread-%s:%s"%(threadnum,xval)CMD=BIN+"-u"+U..
分类:
编程语言 时间:
2015-08-04 23:23:19
阅读次数:
1163
读取cookies 可以这样:
filename='FileCookieJar.txt'
ckjar = cookielib.MozillaCookieJar()
#这里读取cookie
ckjar.load(filename, ignore_discard=True, ignore_expires=True)
for it...
分类:
编程语言 时间:
2015-08-03 22:51:10
阅读次数:
277
首先来描述下环境,在机器上有很多个JAVA程序,我们在每个JAVA程序里都配置了一个启动|停止|重启的脚本 举个例子: 我们现在要同时运行这些脚本,来达到快速启动所有的JAVA程序,如果我们只用多线程的话,线程是不...
分类:
编程语言 时间:
2015-08-01 01:18:28
阅读次数:
137
Python threading模块提供Event对象用于线程间通信。它提供了一组、拆除、等待用于线程间通信的其他方法。event它是沟通中最简单的一个过程之中,一个线程产生一个信号,号。Python 通过threading.Event()产生一个event对象。event对象维护一个内部标志(标志...
分类:
编程语言 时间:
2015-07-29 22:55:59
阅读次数:
249
一.程序、进程、线程的概念1.程序(program):一组功能集合的静态描述,程序至少有一个进程;2.进程(process):进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动;进程是系统进行资源分配和调度的一个独立单位,拥有自己独立的地址空间;进程至少有一个线程,它们..
分类:
编程语言 时间:
2015-07-29 06:33:06
阅读次数:
139
python标准库中有多线程:threading包.本文分面向过程和面向对量两种方式记录一下多线程的写法:1.面向过程: 1 # A program to simulate selling tickets in multi-thread way 2 # Written by Vamei 3 4 i....
分类:
编程语言 时间:
2015-07-25 00:04:04
阅读次数:
150
1、python多线程 1 #encoding=utf-8 2 """ 3 python多线程,并非真正意义上的多线程 4 全局锁:在指定时间里,有且只有一个线程在运行 5 6 7 """ 8 import threading 9 import time10 11 def test(p):12 .....
分类:
编程语言 时间:
2015-07-20 01:06:00
阅读次数:
142
python多线程是伪多线程,同时间最多只有一个线程在执行,但这样并不代码python的多线程没有作用,对于IO密集型的系统,python的多线程还是能极大的提升性能~
关于python伪多线程可以去了解python GIL的概念。
以下代码涉及python多线程,多进程,进程池相关操作:
#encoding:utf-8
from multiprocessing import Pool,Ma...
分类:
编程语言 时间:
2015-07-14 13:49:10
阅读次数:
330
因为工作的关系,我写过许多个抓取网站信息的程序。 最简单的,只要用Python的urllib2.urlopen()函数就可以了; 然后,有个网站喜欢封人,所以,得找一批代理,轮流抓它的信息; 有的网站不允许程序抓取,所以,就...
分类:
编程语言 时间:
2015-07-12 23:32:04
阅读次数:
390