写作背景 自上一篇 "Node 爬虫心得" 来，有爬虫自然也会有反爬虫，爬虫这事就如道高一尺魔高一丈。 常用的有几种手段 针对请求头处理 针对 IP 限频 JS 渲染页面 验证码 针对请求头处理 Referer: https://www.mzitu.com/ User Agent: Mozilla/ ...
分类：
其他好文 时间：
2020-05-06 18:16:40
阅读次数：
111
所谓的国际化，是指使用不同语言的用户在访问同一个网站页面时能够看到符合其自身语言的文本页面。 国际化的基本原理是： 浏览器通过LANGUAGE_CODE在HTTP请求头中告诉网站后台服务器用户所需要的页面语言； 网站服务器在渲染页面时，根据LANGUAGE_CODE查询每个需要翻译成对应语言的文本字 ...
分类：
其他好文 时间：
2020-05-06 12:16:11
阅读次数：
55
1. 初见网络爬虫 1.1 网络连接 输出某个网页的全部 HTML 代码。 urllib 是 Python 的标准库（就是说你不用额外安装就可以运行这个例子），包含了从网络请求数据，处理 cookie，甚至改变像请求头和用户代理这些元数据的函数。 from urllib.request import ...
分类：
编程语言 时间：
2020-05-05 18:04:02
阅读次数：
131
跨域资源共享(CORS)漏洞详解 浏览器同源策略 同协议,同端口同域名 不运行别的网站访问该网站资源 两种跨域方法 1. JSONP跨域请求 原理 https://www.cnblogs.com/znyu/p/6839617.html jsonp利用script标签具有跨域能力的特点，允许用户通过s ...
分类：
其他好文 时间：
2020-05-03 20:23:42
阅读次数：
165
HTTP协议类 http 1. HTTP 协议的主要特点： 简单快速 「url」 灵活 无连接 只连接一次后断开 无状态 服务端无法记住客户端的身份 2. HTTP 报文额组成部分： 请求报文 请求行 「HTTP方法、页面地址、HTTP协议以及版本」 请求头 「key、value」要的内容 空行「k ...
分类：
Web程序 时间：
2020-05-03 15:07:50
阅读次数：
88
Python使用第三方包requests发送请求，实现接口自动化 发送请求分三步： 1、组装请求：包括请求地址、请求头header、cookies、请求数据等 2、发送请求，获取响应：支持get、post等方法 3、解析响应 一、最简单的get请求 requests.get(url=rul) #co ...
分类：
编程语言 时间：
2020-05-02 19:03:55
阅读次数：
332
跨域源资源共享 同源：域名、端口、协议均相同 CORS基本思想是使用自定义的HTTP头部，让服务器能声明允许访问的来源。 使用CORS时，异步请求会被分为简单请求(非Preflight)和非简单请求。 简单请求 所有的跨域请求(简单或非简单)总会包含一个origin的请求头部,由浏览器添加不受用户控 ...
分类：
其他好文 时间：
2020-05-02 18:31:20
阅读次数：
45
scrapy处理选中一个目录 scrapy startproject name 创建一个项目 cd neme 切进去 scrapy genspider spidername allowurl 创建一个爬虫指定允许访问的地址 一般而言 加请求头，cookie，ip，维持会话在middleware中改写 ...
分类：
编程语言 时间：
2020-05-02 16:48:58
阅读次数：
83
爬取斗鱼LOL主播人气数据的思路
（1）分析网页结构，url 调度
（2）网页下载
（3）数据抓取
（4）数据精炼
（5）业务处理
（6）数据存储（演示为控制台展示数据） ...
分类：
其他好文 时间：
2020-04-28 09:40:20
阅读次数：
57
只需在请求头中加入如下代码： Content-Type：application/x-www-form-urlencoded ...
分类：
其他好文 时间：
2020-04-27 13:04:12
阅读次数：
140
