作者：蜗牛shengxinjing(woniuppp)·GitHub今天群里看到有人问关于Python多线程写文件的问题，联想到这是Reboot的架构师班的入学题.我想了一下，感觉坑和考察的点还挺多的，可以当成一个面试题来问，简单说一下我的想法和思路吧，涉及的代码和注释在GitHub上（https://github.c..
分类：
编程语言 时间：
2016-05-05 22:49:39
阅读次数：
393
之前讲过（这里），当Scrapy正常运行时，下载器是瓶颈。在这种情况下，你会看到调度器中有一些请求，下载器中的并发请求数目已经达到最大值，而scraper（爬虫和pipeline）的负载比较轻，正在处理的Response对象数目也不会一直增长。主要有三个设置项来控制下载器的容量：CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN和
CONCURRE...
分类：
其他好文 时间：
2016-04-29 18:06:29
阅读次数：
124
之前讲过（这里），当Scrapy正常运行时，下载器是瓶颈。在这种情况下，你会看到调度器中有一些请求，下载器中的并发请求数目已经达到最大值，而scraper（爬虫和pipeline）的负载比较轻，正在处理的Response对象数目也不会一直增长。主要有三个设置项来控制下载器的容量：CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN和
CONCURRE...
分类：
其他好文 时间：
2016-04-26 20:36:02
阅读次数：
2238
想要开发一个简单的Python爬虫案例，并在Python3以上的环境下运行，那么需要掌握哪些知识才能完成一个简单的Python爬虫呢？ 爬虫的架构实现 爬虫包括调度器，管理器，解析器，下载器和输出器。调度器可以理解为主函数的入口作为整个爬虫的头部，管理器实现包括对URL是否重复进行 判断，将已经爬到 ...
分类：
编程语言 时间：
2016-04-25 00:24:38
阅读次数：
238
python爬虫实战——图片自动下载器之前介绍了那么多基本知识【Python爬虫】入门知识，大家也估计手痒了。想要实际做个小东西来看看，毕竟：
talk is cheap show me the code!
制作爬虫的基本步骤顺便通过这个小例子，可以掌握一些有关制作爬虫的基本的步骤。一般来说，制作一个爬虫需要分以下几个步骤：1. 分析需求（对，需求分析非常重要，不要告诉我你老师没教你）
2....
分类：
编程语言 时间：
2016-04-19 19:45:27
阅读次数：
278
使用工具：冰点下载 安装环境：W7x32系统 + adobe flash player W7x64系统后运行，进入调试界面，应该是软件不支持64系统 冰点下载原理： 非登陆状态下，这些文库下载器是不能直接下载豆丁、百度文库等网站文档。 文库下载器的工作原理，使得它必须借助Adobe Flash Pl ...
分类：
其他好文 时间：
2016-04-14 13:58:21
阅读次数：
225
aria2是一个非常优秀的下载软件，然而aria2本体只是一个命令行执行的软件，功能强大，但是没有gui的话使用起来多多少少有些不方便。于是去网上搜索了一下封装了aria2的下载器，结果却是找到了几个aria2的gui前端，其中之一便是Yet Another Aria2 Web Frontend，a ...
分类：
其他好文 时间：
2016-03-27 14:05:29
阅读次数：
176
3DES、AES、RC6、TEA、RSA、MD5、SHA1、SHA256大聚齐
前两天想帮朋友做一个ARM/STM32的ISP脱机下载器，想到固件平时是保存在外部SPIROM里的需要加密。这两天在网上研究了一下流行的文件加密方法并调试和整理了一下，特此公布。先简单的扫扫盲，大家可以边看边下载呵。
【DES】..
分类：
编程语言 时间：
2016-03-24 14:54:16
阅读次数：
281
今天晚上弄了一个简单的爬虫，可以爬取网页的图片，现在现在做一下准备工作。 需要的库:urllib 和 re urllib库可以理解为是一个url下载器,其中的有两个重要的方法 urllib.urlopen()和urllib.read()这两个方法，具体使用可以在网上查到;re这个库提供对正则表达式支
分类：
编程语言 时间：
2016-03-11 01:12:18
阅读次数：
792
今天上来分享一下昨天实现的一个多线程网页下载器。 这是一个有着真实需求的实现，我的用途是拿它来通过 HTTP 方式向服务器提交游戏数据。把它放上来也是想大家帮忙挑刺，找找 bug，让它工作得更好。 keywords:python,http,multi-threads,thread,threading
分类：
编程语言 时间：
2016-03-06 20:36:19
阅读次数：
244
