中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改再把数据传递出去。不同 ...
分类：
其他好文 时间：
2020-06-12 14:18:42
阅读次数：
53
注：requests不是python内置的库，需要单独安装，pip3 install requests 功能详解: 基本GET请求: import requests response = requests.get('http://httpbin.org/get') print(response.te ...
分类：
编程语言 时间：
2020-06-12 12:42:09
阅读次数：
69
requests高级部分 代理 代理概念:代理服务器 作用:接受请求==>请求转发 代理和爬虫之间的关联: 可以使用请求转发的机制使得目的服务器接受的请求对应ip的一个改变 为什么要使用代理改变请求的ip地址 爬程序在短时间内对指定的服务器发起了一个高频的请求,则请求对应的ip可能会被目的服务器禁止 ...
分类：
编程语言 时间：
2020-06-12 11:05:13
阅读次数：
66
一、操作cookie 1 from selenium import webdriver 2 3 driver_path = 'D:\chromedriver\chromedriver.exe' 4 driver = webdriver.Chrome(executable_path=driver_pa ...
分类：
Web程序 时间：
2020-06-11 16:41:26
阅读次数：
64
爬虫的具备条件 jdbc：操作数据库。 ehcache(redis)：重复url判断。 log4j：日志记录。 httpclient：发送http请求。 jsoup：解析返回的网页内容。 Maven的使用： （1）log4j 的使用； 1. 使用 Maven 下载 log4j 的 Jar 包 2. ...
分类：
其他好文 时间：
2020-06-11 16:23:52
阅读次数：
63
package main import ( "bufio" "fmt" "io/ioutil" "net/http" "os" ) func main() { client := &http.Client{} req,err := http.NewRequest("GET","http://tool ...
分类：
其他好文 时间：
2020-06-11 16:23:01
阅读次数：
70
在爬取一些网页的时候，会发现网页的有些内容是通过JS动态加载的，也就是说是ajax数据，如下图。整个如果需要查看更多的文章，就需要【阅读更多】按钮，这时页面就会加载更多的文章，但是此时网页的网址是不会改变的，没有类似page这种表示页数的参数。这种加载方式就是ajax数据。这种数据通过普通的爬虫是获 ...
分类：
Web程序 时间：
2020-06-11 13:32:15
阅读次数：
67
不想误导，若有错误，希望各位不吝指教！！ 代理：proxies参数 格式： 1 proxies = { 2 "http": "http://12.34.56.79:9527", 3 "https": "http://12.34.56.79:9527", 4 } 私密代理： 1 # 如果代理需要使用H ...
分类：
其他好文 时间：
2020-06-11 10:28:55
阅读次数：
52
今天终于实现了爬虫，爬取到了一定的信息 代码： # -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup import bs4 from selenium import webdriver from time impor ...
分类：
其他好文 时间：
2020-06-11 01:05:51
阅读次数：
116
今天还是学习python爬取，今天电脑的sdk环境还有python环境出了点问题，在查找资料仍无法解决之后，删除重新配置了一遍，利用hello world测试了python。然后上网找了爬虫的代码进行尝试，但是结果不尽如人意，爬出来很多垃圾数据。明天准备找点视频资料，认认真真的学一学爬虫，不在是找现 ...
分类：
其他好文 时间：
2020-06-11 00:43:25
阅读次数：
56
