1、urlopen 2、request 3、user_agent（用户代理） 4、更多Header信息 在 HTTP Request 中加入特定的 Header，来构造一个完整的HTTP请求消息。 5、urllib和urllib2 urllib 仅可以接受URL，不能创建 设置了headers 的R ...
分类：
编程语言 时间：
2018-07-28 20:32:47
阅读次数：
203
相信很多朋友抓包手机遇到过和我一样的问题，明明电脑与手机上的证书都安装了，但是还是有部分连接抓不打，如图：这时我们可以改rules->customizerule里修改OnBeforeResponse，添加一段if(oSession.oRequest[‘User-Agent‘].IndexOf(‘Android‘)>-1&&oSession
分类：
其他好文 时间：
2018-07-25 11:39:38
阅读次数：
423
使用： from fake_useragent import UserAgent 最实用的 但我认为写爬虫最实用的是可以随意变换headers，一定要有随机性。在这里我写了三个随机生成user agent，三次打印都不一样，随机性很强，十分方便。 爬虫中具体使用方法 ...
分类：
其他好文 时间：
2018-07-23 14:46:10
阅读次数：
417
第二章第四节 因特网中的电子邮件 Outline 因特网的三大组件 SMTP 邮件报文格式和MIME 邮件访问协议 Notes ## 因特网的三大组件 下图是因特网电子邮件系统的总体情况，从该图中我们可以看出它有3个重要组成部分：用户代理（user agent）、邮件服务器（mail server） ...
分类：
其他好文 时间：
2018-07-21 22:47:00
阅读次数：
639
最近爬虫，爬个猫眼都被封了IP。。 分享几个常见的User-Agent吧，复制粘贴过来的，谢谢原创。 明天后天，就这周吧，把猫眼，巨潮资讯，阳光网爬一下，然后再爬几个有漂亮mm的网站，后面再做一个自己的翻译器。 时间是挤出来的。。 ...
分类：
其他好文 时间：
2018-07-18 23:27:56
阅读次数：
383
import requests from bs4 import BeautifulSoup as bs import html5lib header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (... ...
分类：
编程语言 时间：
2018-07-16 23:07:47
阅读次数：
277
在使用scrapy shell测试某网站时，其返回400 Bad Request，那么，更改User-Agent请求头信息再试。 DEBUG: Crawled (400) <GET https://www.某网站.com> (referer: None) 可是，怎么更改呢？ 使用scrapy she ...
分类：
系统相关 时间：
2018-07-15 15:01:44
阅读次数：
994
动态 userAgent 这是我收集到的常用的浏览器头部信息，每次爬取的时候从中随机选取一个，并使用 superAgent 设置请求头部的 User-Agent 字段就好了。 userAgent.js app.js 原文：https://andyliwr.github.io/2017/12/05/n ...
分类：
Web程序 时间：
2018-07-13 19:06:45
阅读次数：
1002
window 代表浏览器窗口，宽度高度这些东西 navigator 浏览器名称、版本、User-Agent等东西 screen 电脑屏幕信息 location url 信息 document 页面信息 HTML在浏览器中以DOM形式表示为树形结构，document对象就是整个DOM树的根节点 Jav ...
分类：
编程语言 时间：
2018-07-13 16:14:23
阅读次数：
153
今天想完成今年继续教育的内容，结果不能看视频，提示只能用支持IE浏览器内核的浏览器（IE，360，腾讯浏览器） 咨询后有以下方法 chrome插件 ChromeReloadPlus chrome插件 user-Agent switcher 提示木马 没有试 firefox 插件 open in IE ...
分类：
其他好文 时间：
2018-07-12 23:58:27
阅读次数：
324
