什么是爬虫 网络爬虫(web crawler)，也叫网络蜘蛛(spider)，是一种用来自动浏览万维网的网络机器人(bots)。爬虫是通过网页的链接地址来寻找网页，从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到按照某种条件 ...
分类：
其他好文 时间：
2018-05-26 17:09:48
阅读次数：
184
一：Spider Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取 的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类，所 ...
分类：
其他好文 时间：
2018-05-21 12:33:07
阅读次数：
190
# -*- coding: utf-8 -*- import scrapy from scrapy import Request from urllib.parse import quote from ..items import ScrapyseleniumtestItem class Taoba... ...
分类：
其他好文 时间：
2018-05-15 21:14:54
阅读次数：
369
#练习1：获取搜狐网页上所有的URL并且把与篮球有关的内容筛选出来 #算法： #1、获取搜狐网站所有内容 #2、判断哪些是链接，获取URL格式有效的链接 #3、获取每个有效URL网页的内容 #4、判断内容是否包含篮球 #5、如果包含篮球，保存网页 import requests import re ... ...
分类：
编程语言 时间：
2018-05-15 01:39:02
阅读次数：
230
爬虫了解一下 网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 Python的安装 本篇教程采用Python3 来写，所以你需要给你的电脑装上Python3才行。注意选择正确的版本，一般下载并且安装完成，pip也一起安装好了。 链接：https://pa ...
分类：
编程语言 时间：
2018-05-11 00:49:48
阅读次数：
238
爬虫以前听上去好厉害好神秘的样子，用好了可以成就像Google、百度这样的索索引擎，用不好可以凭借不恰当的高并发分分钟崩掉一个小型网站。写到这里想到12306每年扛住的并发请求量，觉得好牛逼。 爬虫和反爬虫从一直以来都是一个道高一尺魔高一丈的架势。反爬虫技术增加了爬取的难度，各路crawler的爬取 ...
分类：
其他好文 时间：
2018-05-07 13:49:13
阅读次数：
297
发生的错误信息为： crawl.sh: line 8: scrapy: command not found 解决措施： PATH=$PATH:/data1/crawler/anaconda2/bin 此为scrapy的路径 export PATH ...
分类：
其他好文 时间：
2018-04-23 16:34:14
阅读次数：
172
按照大牛的步骤简单地爬了豆瓣电影top250.过程感想记录一下。 教程链接：在这里 爬虫写完以后，一直出现错误 出错原因：调用对象是个None，然后调用出错。出错行原本是在第10页没有下一页的链接时候，判断soup.find('span', attrs={'class', 'next'}).find ...
分类：
编程语言 时间：
2018-04-05 23:15:14
阅读次数：
299
在Settings.py里面，提供了提取以key-value映射的配置值的的全局命名空间(namespace)。可以通过多种机制进行设置 如何获取设定的值 命令行 项目模块 如何进行访问 通过crawler ...
分类：
其他好文 时间：
2018-04-05 22:06:33
阅读次数：
117
利用信号在指定的位置注册指定操作 from scrapy import signals class MyExtension(object): def __init__(self, value): self.value = value @classmethod def from_crawler(cls ...
分类：
其他好文 时间：
2018-03-24 16:32:45
阅读次数：
153
