我在使用python写爬虫时用到了requests.get()方法： def openUrl(url, ip, agent): #函数形参为url:网页地址; ip:ip池; agent:User-Agent, 三者均为字符串类型 requests.get(url, headers=agent, p ...
分类：
其他好文 时间：
2020-01-06 19:23:08
阅读次数：
178
用途： 通过http、ftp等方式下载文件，或者是上传文件 和 wget类似 1. 实例 测试 网络 可以通过 man 参数查询curl参数的具体使用 [root@localhost ~]# man curl -a/--append 上传文件时，附加到目标文件 -A/--user-agent <st ...
分类：
Web程序 时间：
2020-01-04 16:47:20
阅读次数：
101
今天首先讲解反爬机制的伪装User-Agent第一种：在cmd命令行里用pip安装fake_useragentpip install fake-useragent使用方法： from fake_useragent import UserAgent import random fake_ua=User ...
分类：
其他好文 时间：
2020-01-04 14:35:05
阅读次数：
99
Fiddler简介、抓包原理、HTTP协议详解 请求体 请求行 请求头 请求体 各个代表什么意思 1. 请求方法（Request Method） get post head put delete options trace 2. URL 3. 请求头 Host User-Agent Accept . ...
分类：
其他好文 时间：
2019-12-29 16:55:18
阅读次数：
69
模拟浏览器访问-User-Agent： import urllib2 #User-Agent 模拟浏览器访问 headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, l ...
分类：
编程语言 时间：
2019-12-27 09:33:42
阅读次数：
277
一、首部字段或者消息头 1.下面几个类型都是请求的： User-Agent:关于浏览器和它平台的消息，如Mozilla5.0 Accept:客户端能处理的页面的类型，如text/html Accept-Charset:客户端可以接受的字符集，如unicode-1-1 Accept-Encoding: ...
分类：
编程语言 时间：
2019-12-25 01:01:37
阅读次数：
151
请求头获取用户设备、点赞 一、GooGle浏览器：使用插件User Agent Switcher, URL sniffer 0.9.3.9或者使用User Agent Switcher，调整用户设备请求头 1.获取用户设备请求头的意义，QQ的空间动态，会有手机类型的显示，其实现原理就是获取设备的请求 ...
分类：
其他好文 时间：
2019-12-23 22:29:25
阅读次数：
90
原理：我的上篇博客 import requests import time from bs4 import BeautifulSoup def get_html(url): ''' 获得 HTML ''' headers = { 'user-agent': 'Mozilla/5.0 (Windows ...
分类：
编程语言 时间：
2019-12-23 13:26:11
阅读次数：
82
一、反爬策略 1、请求头 ——user-agent ——referer ——cookie 2、访问频率限制 ——代理池 ——再用户访问高峰期进行爬取，冲散日志。12-13 7-10 ——设置等待时长。time.sleep(3) 3、ajax异步请求，用接口获取数据 4、能一次性获取的数据，绝不发送第 ...
分类：
编程语言 时间：
2019-12-22 20:24:50
阅读次数：
127
import requestsfrom lxml import etree url = 'http://quotes.money.163.com/old/'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) App ...
分类：
其他好文 时间：
2019-12-19 17:40:10
阅读次数：
112
