[TOC] 由于某些原因最近终于可以从工作的琐事中抽出身来，有时间把之前的一些爬虫知识进行了一个简单的梳理，也从中体会到阶段性地对过往知识进行梳理是真的很有必要。 常用第三方库 对于爬虫初学者，建议在了解爬虫原理以后，在不使用任何爬虫框架的情况下，使用这些常用的第三方库自己实现一个简单的爬虫，这样会 ...
分类：
编程语言 时间：
2018-05-10 11:38:08
阅读次数：
164
Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。 而Scrapy-Redis则是一个基于Redis的S ...
分类：
其他好文 时间：
2018-05-03 16:41:06
阅读次数：
214
手把手教你写网络爬虫（3） 作者：拓海 摘要：从零开始写爬虫，初学者的速成指南！ 封面： 介绍 大家好！我们从今天开始学习开源爬虫框架Scrapy，如果你看过《手把手》系列的前两篇，那么今天的内容就非常容易理解了。细心的读者也许会有疑问，为什么不学出身名门的Apache顶级项目Nutch，或者人气飙 ...
分类：
其他好文 时间：
2018-04-17 12:01:32
阅读次数：
276
一、简单爬虫框架 简单爬虫框架由四个部分组成：URL管理器、网页下载器、网页解析器、调度器，还有应用这一部分，应用主要是NLP配合相关业务。 它的基本逻辑是这样的：给定一个要访问的URL，获取这个html及内容（也可以获取head和cookie等其它信息），获取html中的某一类链接，如a标签的hr ...
分类：
编程语言 时间：
2018-04-15 16:13:55
阅读次数：
256
1、要求：python基础，python web框架的了解，web.py\flask\django等，爬虫框架scrapy的基础，html解析技术bs\xpath等 2、设计爬虫策略 3、反爬虫处理，模拟浏览器，使用代理ip等 4、分布式爬虫 scrapy-redis，利用redis对url去重，存 ...
分类：
编程语言 时间：
2018-04-09 21:48:09
阅读次数：
196
Scrapy是python开发的一个爬虫框架，如果你要学习它的话，可能第一步在安装的时候，就会遇到很多问题，因为Scrapy很多模块都是基于linux下的，可能你在mac上或者linux上面安装的时候，不会有什么问题，但是Windows上面安装的话，可能会有各种各样的问题。 这里我就把遇到的问题整理 ...
项目的需求需要爬虫某网的商品信息，自己通过Requests,BeautifulSoup等编写了一个spider，把抓取的数据存到数据库里面。 跑起来的感觉速度有点慢，尤其是进入详情页面抓取信息的时候，小白入门，也不知道应该咋个整，反正就是跟着学嘛。 网上的爬虫框架还是挺多的，现在打算学习spcrap ...
分类：
其他好文 时间：
2018-04-02 16:33:50
阅读次数：
158
1.几种常用的PHP爬虫框架对比 原文链接：https://blog.csdn.net/future_todo/article/details/52804440 1.1 phpQuery 优势：类似jquery的强大搜索DOM的能力。 pq()是一个功能强大的搜索DOM的方法，跟jQuery的$() ...
分类：
Web程序 时间：
2018-03-27 16:40:36
阅读次数：
533
1.Scrapy是蜘蛛爬虫框架，我们用蜘蛛来获取互联网上的各种信息，然后再对这些信息进行数据分析处理。 2.Scrapy的组成 引擎：处理整个系统的数据流处理，出发事务 调度器: 接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回 下载器: 下载网页内容，并将网页内容返回给蜘蛛 蜘蛛: 蜘 ...
分类：
其他好文 时间：
2018-03-27 14:27:43
阅读次数：
133
Windows下MongoDB的安装与配置 介绍：因为学习python爬虫框架，需要安装MongoDB，在此记录安装过程。(参考了网上很多文章，在此对先辈表示感谢) 一、官网下载地址：https://www.mongodb.com/download-center?jmp=nav#community， ...
分类：
数据库 时间：
2018-03-24 13:28:05
阅读次数：
211
