1. 常有的工具 (1). python (2). pycharm (3).浏览器 i.chrome ii.火狐 (4).fiddler的使用 2 fiddler的使用 (1).操作界面 (2)界面含义 请求(Request)部分详解 名称 含义 Headers 显示客户端发送到服务器的 HTTP ...
分类：
其他好文 时间：
2018-07-05 10:20:22
阅读次数：
169
django会在浏览器的cookie里面保存一项csrftoken=GvzB3ilhlgadishmascacsilreclherlkjhaklsdv3qx4M96XRG88omScDPQaKoMxJ; 这个是从django生成的，django会检查每个http请求的headers 里面的 X-CS ...
分类：
移动开发 时间：
2018-07-04 21:36:57
阅读次数：
470
import requests from bs4 import BeautifulSoup url = 'https://github.com/login' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWe... ...
分类：
其他好文 时间：
2018-07-04 16:47:30
阅读次数：
489
一、概述 django_debug_toolbar 是django的第三方工具包，给django扩展了调试功能。 包括查看执行的sql语句，db查询次数，request，headers，调试概览等。 二、安装 使用django_debug_toolbar工具先使用pip安装。 pip install ...
分类：
其他好文 时间：
2018-07-04 01:05:38
阅读次数：
189
0x01 常见的反爬虫 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的 ...
分类：
其他好文 时间：
2018-07-03 16:53:04
阅读次数：
171
这次遇到了layui跨域请求问题，在网上找了很多response headers的配置属型都不成功 由于浏览器存在同源策略，所以如果layui（里面含图标字体文件）所在的地址与你当前的页面地址不在同一个域下，即会出现图标跨域问题。所以要么你就把Layui与网站放在同一服务器，要么就对Layui所在的 ...
分类：
数据库 时间：
2018-07-03 14:34:25
阅读次数：
1391
https://cnodejs.org/topic/54745ac22804a0997d38b32d 用Node.js创建自签名的HTTPS服务器 发布于 4 年前 作者 eeandrew 689290 次浏览 最后一次编辑是 2 年前 来自 分享 发布于 4 年前 作者 eeandrew 6892 ...
分类：
Web程序 时间：
2018-07-02 18:20:17
阅读次数：
224
请求库 urllib urllib主要分为几个部分 urllib.request 发送请求urllib.error 处理请求过程中出现的异常urllib.parse 处理urlurllib.robotparser 解析robots.txt -->规定了该网站的爬虫权限 urllib.request方 ...
分类：
编程语言 时间：
2018-07-01 18:19:25
阅读次数：
159
爬取站点 https://it.ithome.com/ityejie/ ，进入详情页提取内容。 ...
分类：
其他好文 时间：
2018-06-30 12:54:53
阅读次数：
182
爬虫工作流程1、请求数据协议:http https websocket注意请求过程中的 headers（请求头）中User-Agent referer cookies请求库：urllib requests 工具：fiddler charles 2、解析数据正则表达式bs4lxml-xpath 3、数 ...
分类：
其他好文 时间：
2018-06-28 23:00:14
阅读次数：
356
