自定义nginx访问日志和内置变量使用安装第三方echo模块后查看内置变量内置变量1.$args用户在浏览器中查找的相关参数(uri中?之后的字段)2.$document_root站点根目录所在的位置3.$document_uri去除url中域名部分后所剩下的目录4.$host所访问的主机5.$http_user_agent客户端所使用的浏览器6.$http_cookie客户端的cookie信息7
分类：
其他好文 时间：
2019-06-03 09:31:15
阅读次数：
156
curl 是一种命令行工具，作用是发出网络请求，然后获取数据，显示在"标准输出"（stdout）上面。 以下是博主整理的一些关于curl命令的基本用法。 -A/--user-agent <string> 设置用户代理发送给服务器 -b/--cookie <name=string/file> cook ...
分类：
Web程序 时间：
2019-06-01 19:27:06
阅读次数：
154
状态码含义备注 200 请求已完成 2XX状态码均为正常状态码返回。 300 多种选择 服务器根据请求可执行多种操作。服务器可根据请求者 (User agent) 来选择一项操作，或提供操作列表供请求者选择。 301 永久移动 请求的网页已被永久移动到新位置。服务器返回此响应（作为对 GET 或 H ...
分类：
Web程序 时间：
2019-05-23 16:03:54
阅读次数：
113
模拟登陆知乎后，跳转到首页，返回400，请求无效，应该是知乎对request请求有做要求。 看了下请求头，主要关注cookie、referer和user_agent（不要问为什么，我看视频的），cookie在scrapy.Request里有单独参数。不管怎样，先测试下： 在Request里加上hea ...
分类：
其他好文 时间：
2019-05-20 22:44:50
阅读次数：
145
import requests as app from lxml import etree header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Geck... ...
分类：
编程语言 时间：
2019-05-20 17:00:24
阅读次数：
123
那么HTTP请求报文和响应报文会是什么格式呢？ 起始行：如 GET / HTTP/1.0 （请求的方法 请求的URL 请求所使用的协议） 头部信息：User-Agent Host等成对出现的值 主体 不管是请求报文还是响应报文都会遵循以上的格式。 那么起始行中的请求方法有哪些种呢？ GET: 完整请 ...
分类：
Web程序 时间：
2019-05-18 17:14:26
阅读次数：
156
[TOC] UA池和代理池 一. 下载代理池 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User Agent，设置代理等 （2）在下载器完 ...
分类：
其他好文 时间：
2019-05-04 18:46:38
阅读次数：
130
什么是cooker： Cookie是由服务器端生成，发送给User-Agent（一般是浏览器），浏览器会将Cookie的key/value保存到某个目录下的文本文件内，下次请求同一网站时就发送该Cookie给服务器（前提是浏览器设置为启用cookie）。Cookie名称和值可以由服务器端开发自己定义 ...
分类：
其他好文 时间：
2019-05-04 14:50:29
阅读次数：
142
```
import requests
from bs4 import BeautifulSoup url = 'http://wz.sun0769.com/index.php/question/reply?page=0'
headers = { 'User-Agent': "Mozilla/5.0... ...
分类：
其他好文 时间：
2019-05-02 18:21:32
阅读次数：
154
引言 最近，在抓包的时候发现了一些奇怪的请求头，并不像熟悉的User Agent一样，感觉上不常用，却能够在大部分地方见到 Accept Encoding "百科" 中介绍，HTTP Header中Accept Encoding 是浏览器发给服务器,声明浏览器支持的编码类型 upgrade inse ...
分类：
Web程序 时间：
2019-04-29 21:18:12
阅读次数：
228
