Internet Download Manager (以下简称 IDM) 是 Windows 平台老牌而功能强大的下载工具，提供了下载队列、站点抓取和映射服务器、多媒体下载、静默下载、百度盘加速等多个功能，IDM 下载器堪称下载神器！可以到官网自行下载最新版本。 首先，贴上官网地址：http://w ...
分类：
其他好文 时间：
2018-09-04 17:48:30
阅读次数：
377
一：scrapy 工作原理介绍： 千言万语，不如一张图来的清晰： 解释说明： 1、从优先级队列中获取request对象，交给engine 2、engine将request对象交给下载器下载，期间会通过downloadmiddleware的process_request方法 3、下载器完成下载，获得r ...
分类：
其他好文 时间：
2018-08-25 19:03:15
阅读次数：
174
爬虫框架的基础和运行流程 基本的框架流程 基础爬虫框架主要包括五大模块、分别为爬虫调度器、URL管理器、HTML下载器、HTML解析器、数据存储器。功能分析如下： 爬虫调度器主要负责统筹其他四个模块的协调工作。 URL管理器负责URL链接的管理，维护已经爬取的URL集合和未爬取的URL集合，提供获取 ...
分类：
其他好文 时间：
2018-08-24 13:19:27
阅读次数：
190
什么是wget wget用原始帮助里面的英文来讲就是:The non interactive network downloader，非交互式网络下载器。它支持HTTP、HTTPS、FTP等协议，同时也支持基于HTTP代理的下载。其他主要特点如下所示： 可以工作于后台，而不 ...
分类：
系统相关 时间：
2018-08-18 00:47:05
阅读次数：
156
P2P Downloader ， 当然就是 P2P 下载器了 ， 就是和 比特精灵 差不多的那种 。 ^ ^ 不过这个项目没有代码 ， 懒得写代码了 ， 就文字描述一下吧 。 ^ ^ P2P 下载呢 ， 主要就是把要下载的文件 分割 为一个一个的 数据块（Data Block）， 假设我们定义每个 ...
分类：
其他好文 时间：
2018-08-17 01:17:17
阅读次数：
178
scrapy框架 scrapy是一套基于Twisted的异步处理框架，是纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松实现一个爬虫，用来抓取网页内容或者各种图片。 scrapy Engine:scrapy引擎 负责调度器，下载器，管道和爬虫之间的通讯信号和数据的传递，相当于交通站 ...
分类：
其他好文 时间：
2018-08-11 21:53:36
阅读次数：
171
主要原因，以前用的是J-LINK ,现在用的是ST-LINK 。MDK默认是J-LINK 。所以在改了下载器。 ...
分类：
其他好文 时间：
2018-08-06 14:36:17
阅读次数：
712
猫头鹰地图下载器，支持多风格瓦片下载，开发个性化地图利器，可以下载默认定义样式，也可下载自定义样式 以上图片是常规的地图下载，以下图片是个性化地图的下载 还有更多的请下载软件体验，软件下载地址如下： http://api.jjszd.com:8081/apituiguang/%E7%8C%AB%E5 ...
分类：
其他好文 时间：
2018-07-16 18:04:39
阅读次数：
239
本文所有打赏将全数捐赠于 NCC（NCC 的资金目前由 "倾竹大人" 负责管理），请注明捐赠于 NCC。捐赠情况将由倾竹大人 "在此处公示" 。 DotnetSpider 至力于打造一个轻量化、高效率、易开发、可管理的一体化爬虫框架。它的核心要素是URL调度、基本的网页内容下载器、基于爬虫实体类的爬 ...
分类：
编程语言 时间：
2018-06-27 13:51:43
阅读次数：
372
实现思路解析：爬虫调度器：启动/停止爬虫，规定爬虫的范围；URL管理器：管理2个URL：新的没有爬过的urls；旧的爬过的urls；URL下载器：下载url对应的html数据；HTML解析器：解析并过滤下载到的html数据；数据输出器：把解析过滤后的数据，按一定的格式存储到对应的文件中。
分类：
其他好文 时间：
2018-06-25 20:23:18
阅读次数：
151
