public class AgentUserKit { private static String pattern = "^Mozilla/\\d\\.\\d\\s+\\(+.+?\\)"; private static String pattern2 = "\\(+.+?\\)"; private ...
分类:
其他好文 时间:
2019-12-17 22:47:28
阅读次数:
196
HTTP协议 什么是HTTP协议 HTTP协议就是 超文本传输协议 这个协议规定了在链接的过程中,一次请求一次响应之后就断开链接,解释了HTTP协议就是一种无状态,短链接的协议 对于数据传输格式,都包含了头和体 在请求的过程中,包含了请求头和请求体,请求头和请求体之间 通过两个\r\n分隔,请求头和 ...
分类:
Web程序 时间:
2019-12-16 22:19:56
阅读次数:
131
1.Accept属于请求头, Content-Type属于实体头。 Http报头分为通用报头,请求报头,响应报头和实体报头。 请求方的http报头结构:通用报头|请求报头|实体报头 响应方的http报头结构:通用报头|响应报头|实体报头 2.Accept代表发送端(客户端)希望接受的数据类型。 比如 ...
分类:
Web程序 时间:
2019-12-16 17:51:48
阅读次数:
185
Scrapy 一 介绍 Scrapy简介 Scrapy架构图 Scrapy运行流程 二 安装 三 命令行工具 介绍 示例 四 项目结构以及爬虫应用简介 目录结构 应用说明 pycharm中运行爬虫程序 五 Spiders 1.介绍 2.Spider会循环做的事情 3.爬取格式 entrypoint. ...
分类:
编程语言 时间:
2019-12-16 13:37:02
阅读次数:
120
我们在发AJAX请求的时候可能会需要自定义请求头,在jQuery的$.ajax()方法中提供了beforeSend属性方便我们进行此操作。 使用起来非常简单。 "我们这代的年轻人,很多是没有退路的。感到失败和望不到头的时候,并没有那个外界默认的【避风港】,也不会觉得【就这样回家好了】,回到那个有爸爸 ...
分类:
Web程序 时间:
2019-12-16 09:56:11
阅读次数:
961
Python 抓取网页中的图片 Ps:目标网站为千图网,如有需求,请购买正版,该项目仅用于学习交流使用。 分析目标 1.分析网页的请求信息,将请求头加上,主要是防止反爬。这里需要注意的是它的content-type。 2.分析元素内容,获取相应的目标。 3.需要分析一下url 代码工程 分析号目标后 ...
分类:
编程语言 时间:
2019-12-15 21:37:16
阅读次数:
113
前面的文章 https://www.cnblogs.com/lihaoyang/p/11967121.html 说了用过滤器实现HttpBasic 认证 ,在请求头里携带用户名和密码,存在的问题是,你不可能让用户每个请求都输入用户名密码吧,即使前端把用户名密码存起来,这也是不安全的。 一、基于Tok ...
分类:
编程语言 时间:
2019-12-15 14:31:52
阅读次数:
101
API版本控制可以用来在不同的客户端使用不同的行为。REST框架提供了大量不同的版本设计。 版本控制是由传入的客户端请求决定的,并且可基于请求URL,或者基于请求头。 rest_framework 当使用版本控制时,request.version属性(字符串)与客户端请求的版本一致。 默认情况下,没 ...
分类:
其他好文 时间:
2019-12-15 14:17:02
阅读次数:
88
一、简介 HTTP协议规定post提交的数据必须放在消息主体(entity-body)中,但协议没有规定数据必须使用什么编码方式。HTTP协议是以ASCII码传输,建立再TCP/IP协议之上的应用层规范。HTTP请求分为3个部分:状态行、请求头和消息主体。类似于: <method> <request ...
分类:
其他好文 时间:
2019-12-15 12:46:18
阅读次数:
246
# 引入扩展 from urllib import request, error, parse # 定义url、请求头、请求参数 url = "http://www.baidu.com" headers = {'User-Agent': 'Mozilla/5.0 3578.98 Safari/537 ...
分类:
Web程序 时间:
2019-12-15 12:43:09
阅读次数:
88