http请求协议 Get请求： GET 127.0.0.1:8090/login HTTP/1.1：GET请求，请求服务器路径为 127.0.0.1:8090/login ，协议为1.1； Host:localhost：请求的主机名为localhost； *User-Agent: Mozilla/5 ...
分类：
Web程序 时间：
2019-10-15 00:21:09
阅读次数：
144
跟着赵师傅学CTF,这里是我的学习记录 ?file=/flag ?file=/var/log/nginx/access.log ：包含ngnix的日志记录 在user-agent里面插入 ：bbbbbbb<?php phpinfo();?>aaaaaaaaaaaaaa 接着试一下refer头 本来是 ...
分类：
其他好文 时间：
2019-10-13 13:21:22
阅读次数：
359
import requestsimport jsonheaders = { 'user-agent': 'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11 ...
分类：
编程语言 时间：
2019-10-07 11:34:29
阅读次数：
209
一.项目问题： 1. 你写爬虫的时候都遇到过什么反爬虫措施，你最终是怎样解决的 1、基于User-agent反爬 2、基于IP地址进行反爬 2. 你写爬虫的时候 使用的什么框架 选择这个框架的原因是什么 python中的爬虫框架： pyspider、crawley scrapy，这是一个异步框架，基 ...
分类：
其他好文 时间：
2019-10-07 00:42:06
阅读次数：
189
from bs4 import BeautifulSoupimport urllib.requestimport timedef get_request(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64 ...
分类：
其他好文 时间：
2019-10-06 11:14:42
阅读次数：
110
从一台计算机编写邮件到对方收到邮件。假设我们自己的电子邮件地址是me@163.com，对方的电子邮件地址是friend@sina.com 我们在本地的软件上写好邮件，点击发送，邮件就发送出去了，这些电子邮件被称为MUA（mail user agent）邮件用户代理 邮件从本地被发送出去后，并不会被直 ...
分类：
编程语言 时间：
2019-10-06 00:15:51
阅读次数：
106
一、请求的上下文: User-Agent 指明客户端的类型信息，服务器可以据此对资源的表述做抉择 二、请求的上下文: Referer 浏览器对来自某一页面的请求自动添加的头部 截图2 这对于我们的防盗链非常有帮助： 1、比如我们的图片不希望被某些站点直接引用我们就可以直接禁止掉 服务器端常用于统计分 ...
分类：
Web程序 时间：
2019-10-05 14:35:17
阅读次数：
151
USER_AGENT = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Mobile Safari/537.36'L ...
分类：
其他好文 时间：
2019-10-05 00:30:56
阅读次数：
106
有些网站做了反爬技术，如：比较初级的通过判断请求头部中的user-agent字段来检测是否通过浏览器访问的。 在爬这类网站时需要模拟user-agent user-agent.txt 百度网盘 链接：https://pan.baidu.com/s/1ramkIyjVSI2_GXbxypj1Dg 提取 ...
分类：
编程语言 时间：
2019-10-02 22:52:50
阅读次数：
207
user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) " "Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3" ...
分类：
编程语言 时间：
2019-10-02 17:02:06
阅读次数：
193
