搭建环境： win10，Python3.6，pycharm，未设虚拟环境 之前写的爬虫并没有架构的思想，且不具备面向对象的特征，现在写一个基础爬虫架构，爬取百度百科，首先介绍一下基础爬虫框架的五大模块功能，包括爬虫调度器，URL管理器，HTML下载器，HTML解析器，数据存储器，功能分析如下： >> ...
分类：
编程语言 时间：
2018-03-21 18:36:11
阅读次数：
484
scrapy是一个非常好用的爬虫框架，它是基于Twisted开发的，Twisted又是一个异步网络框架，既然它是异步的，那么执行起来肯定会很快，所以scrapy的执行速度也不会慢的！ 如果你还没没有学过scrapy的话，那么我建议你先去学习一下，再来看这个小案例，毕竟这是基于scrapy来实现的！网 ...
分类：
其他好文 时间：
2018-03-02 14:50:48
阅读次数：
171
基本爬虫框架，注意raise_fo_status与try，except的配合使用，方便检查错误 ...
分类：
其他好文 时间：
2018-02-28 22:49:39
阅读次数：
150
学习了scrapy 爬虫框架 觉得这个框架做数据抓取很好用，但是不支持分布式。网上查了有大牛在它基础上进行改进出了一个scrapy-redis 的框架 在网上找了很多教程，但是都没有说到基于scrapy-redis从 0 搭建分布式 爬虫框架的。 因此我决定自己从 0 开始搭建 并把整个过程记录下来 ...
分类：
其他好文 时间：
2018-02-24 19:37:39
阅读次数：
210
上一篇介绍了如何爬取豆瓣TOP250的相关内容，今天我们来模拟登陆GitHub。1环境配置语言：Python3.6.1IDE：Pycharm浏览器：firefox抓包工具：fiddler爬虫框架：Scrapy1.5.0操作系统：Windows10家庭中文版2爬取前分析分析登陆提交信息分析登陆信息我使用的是fiddler，fiddler的使用方法就不作介绍了，大家可以自行搜索，首先我们打开githu
分类：
编程语言 时间：
2018-02-14 21:06:08
阅读次数：
1882
网络爬虫：是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 ...
分类：
其他好文 时间：
2018-02-12 20:04:52
阅读次数：
141
1. 安装Anaconda，因为Anaconda基本把所有需要依赖的环境都一键帮我们部署好了，不需要再操心其他事了，进官网选择需要下载的版本：https://www.anaconda.com/download/ 2. 安装完Anaconda，添加环境变量，见截图 3. 验证Anaconda是否安装O ...
分类：
其他好文 时间：
2018-02-10 12:49:38
阅读次数：
126
对于scrapy我们前面已经介绍了简单的应用，今天我们用一个完整的例子，爬取豆瓣电影TOP250来做一个小的练习，把scrapy阶段做一个总结。1环境配置语言：Python3.6.1IDE：Pycharm浏览器：firefox爬虫框架：Scrapy1.5.0操作系统：Windows10家庭中文版2爬取前分析2.1需要保存的数据首先确定我们要获取的内容，在items中定义字段，来将非结构化数据生成结
分类：
编程语言 时间：
2018-02-08 11:11:34
阅读次数：
306
前面已经安装了Scrapy，下面来实现第一个测试程序。概述Scrapy是一个爬虫框架，他的基本流程如下所示（下面截图来自互联网）简单的说，我们需要写一个item文件，定义返回的数据结构；写一个spider文件，具体爬取的数据程序，以及一个管道pipeline文件，作为后续操作，比如保存数据等等。下面以当当网为例，看看怎么实现。这个例子里面我想爬取的内容是前面20页的羽绒服产品，包括产品名字，链接和
分类：
其他好文 时间：
2018-02-06 10:19:11
阅读次数：
209
