在前面两篇文章介绍了下载器中间件的使用，这篇文章将会介绍爬虫中间件（Spider Middleware）的使用。 爬虫中间件 爬虫中间件的用法与下载器中间件非常相似，只是它们的作用对象不同。下载器中间件的作用对象是请求request和返回response；爬虫中间件的作用对象是爬虫，更具体地来说，就 ...
分类：
其他好文 时间：
2020-06-12 14:54:01
阅读次数：
66
背景：大家在做爬虫或web端的UI自动化时会经常遇到的就是验证码，那怎么识别这验证码也是我们目前遇到的难题。（在这里咱们先不讨论：1.点击类的验证 2.滑动类的验证 3.中文类的验证）简单地说，计算机图形学的主要研究内容就是研究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原 ...
分类：
Web程序 时间：
2020-06-12 14:19:21
阅读次数：
71
中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改再把数据传递出去。不同 ...
分类：
其他好文 时间：
2020-06-12 14:18:42
阅读次数：
53
注：requests不是python内置的库，需要单独安装，pip3 install requests 功能详解: 基本GET请求: import requests response = requests.get('http://httpbin.org/get') print(response.te ...
分类：
编程语言 时间：
2020-06-12 12:42:09
阅读次数：
69
requests高级部分 代理 代理概念:代理服务器 作用:接受请求==>请求转发 代理和爬虫之间的关联: 可以使用请求转发的机制使得目的服务器接受的请求对应ip的一个改变 为什么要使用代理改变请求的ip地址 爬程序在短时间内对指定的服务器发起了一个高频的请求,则请求对应的ip可能会被目的服务器禁止 ...
分类：
编程语言 时间：
2020-06-12 11:05:13
阅读次数：
66
一、操作cookie 1 from selenium import webdriver 2 3 driver_path = 'D:\chromedriver\chromedriver.exe' 4 driver = webdriver.Chrome(executable_path=driver_pa ...
分类：
Web程序 时间：
2020-06-11 16:41:26
阅读次数：
64
爬虫的具备条件 jdbc：操作数据库。 ehcache(redis)：重复url判断。 log4j：日志记录。 httpclient：发送http请求。 jsoup：解析返回的网页内容。 Maven的使用： （1）log4j 的使用； 1. 使用 Maven 下载 log4j 的 Jar 包 2. ...
分类：
其他好文 时间：
2020-06-11 16:23:52
阅读次数：
63
package main import ( "bufio" "fmt" "io/ioutil" "net/http" "os" ) func main() { client := &http.Client{} req,err := http.NewRequest("GET","http://tool ...
分类：
其他好文 时间：
2020-06-11 16:23:01
阅读次数：
70
在爬取一些网页的时候，会发现网页的有些内容是通过JS动态加载的，也就是说是ajax数据，如下图。整个如果需要查看更多的文章，就需要【阅读更多】按钮，这时页面就会加载更多的文章，但是此时网页的网址是不会改变的，没有类似page这种表示页数的参数。这种加载方式就是ajax数据。这种数据通过普通的爬虫是获 ...
分类：
Web程序 时间：
2020-06-11 13:32:15
阅读次数：
67
话不多说上代码 //身份证号合法性验证 //支持15位和18位身份证号 //支持地址编码、出生日期、校验位验证 function cidInfo(code) { var city={11:"北京",12:"天津",13:"河北",14:"山西",15:"内蒙古",21:"辽宁",22:"吉林",23 ...
分类：
Web程序 时间：
2020-06-11 12:00:26
阅读次数：
84
