1、在/etc/nginx/conf.d目录下（因Nginx的安装区别，可能站点配置文件的路径有所不同）新建文件deny_agent.config配置文件： #forbidden Scrapy if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { r ...
分类：
Web程序 时间：
2020-03-22 01:50:06
阅读次数：
370
settings.py # -*- coding: utf-8 -*- # Scrapy settings for zhihutupian project # # For simplicity, this file contains only settings considered importan ...
分类：
其他好文 时间：
2020-03-20 20:28:53
阅读次数：
75
步骤 1. 安装 Python，版本选择 Python 3，原因看这里： 1. 创建 virtual environment(venv) 1. 安装 pip 1. 安装 Scrapy 1. 写脚本 quotes_spider.py 1. 执行脚本 参考 ...
分类：
其他好文 时间：
2020-03-19 22:06:52
阅读次数：
74
一、Scrapy爬虫框架结构 1、Scrapy不是一个函数功能库，而是一个爬虫框架 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合 爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫 2、“5+2”结构 （1）Engine（不需要用户修改） 控制所有模块之间的数据流 根据条件触发事件 （2）Do ...
分类：
其他好文 时间：
2020-03-19 13:15:12
阅读次数：
81
# -*- coding: utf-8 -*- import re from time import sleep import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import Craw ...
分类：
编程语言 时间：
2020-03-17 14:12:40
阅读次数：
87
scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据 ...
分类：
其他好文 时间：
2020-03-16 12:40:59
阅读次数：
51
1.安装scrapy框架：pip install scrapy 2.使用cmd窗口命令创建项目： ①进入要创建项目的路径 ②scrapy startproject qsbk(项目名) ③pycharm下打开刚才创建的项目 ④修改settings下的ROBOTSTXT_OBEY=False ⑤再添加下 ...
分类：
其他好文 时间：
2020-03-15 22:18:36
阅读次数：
72
在scrapy项目文件夹中新建一个文件，代码如下 from scrapy.cmdline import execute execute("scrapy crawl top250".split()) 原理见 https://blog.csdn.net/qq_39377418/article/detai ...
分类：
其他好文 时间：
2020-03-14 22:17:55
阅读次数：
78
scrapy中使用selenium来爬取页面 scrapy中如果下载中间件的 返回的是一个response对象，那么它会直接将该response返回 在这里利用selenium将网页渲染过的html抓取下来,然后在将其转换为scrapy所能解析的response对象 最后在spider中的parse ...
分类：
其他好文 时间：
2020-03-14 16:34:15
阅读次数：
54
1 import scrapy 2 from text_info.items import TextInfoItem 3 4 class A50zwSpider(scrapy.Spider): 5 name = '50zw' 6 allowed_domains = ['m.50zw.la'] 7 s ...
分类：
其他好文 时间：
2020-03-14 01:24:12
阅读次数：
253
