root登录ubutun vmware中选择菜单虚拟机->安装VMware Tools 命令行如下 最后重启系统即可. ...
分类:
系统相关 时间:
2019-01-20 14:07:19
阅读次数:
301
爬虫基本原理 一 爬虫是什么 #1、什么是互联网? 互联网是由网络设备(网线,路由器,交换机,防火墙等等)和一台台计算机连接而成,像一张网一样。 #2、互联网建立的目的? 互联网的核心价值在于数据的共享/传递:数据是存放于一台台计算机上的,而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享 ...
分类:
其他好文 时间:
2019-01-20 14:00:26
阅读次数:
170
先看看scrapy的框架流程, 1,安装 scrapy https://www.cnblogs.com/zbllly/p/10294223.html 查看即可。 2,新建scrapy项目 目录结构图 3,cd到项目名下,创建任务。 参数解析: name,定义spider的名字的字符串,必须是唯一的, ...
分类:
其他好文 时间:
2019-01-20 13:41:20
阅读次数:
216
1.Headers: 从用户的headers进行反爬是最常见的反爬策略,Headers是一种最常见的反爬机制Headers是一种区分浏览器行为和机器行为中最简单的方法,还有一些网站会对Referer (上级链接)进行检测 从而实现爬虫。 相应的解决措施:通过审查元素或者开发者工具获取相应的heade ...
分类:
其他好文 时间:
2019-01-20 11:57:27
阅读次数:
175
在执行上面的代码过程中,遇到问题:'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte. 分析原因: 分析过程如下: ①:在上面代码中,headers请求头中,并不包括:Accept-encoding请求头,请求 ...
分类:
编程语言 时间:
2019-01-19 12:13:08
阅读次数:
1269
网址http://httpbin.org/get的内容如下 代码输出的结果: 增加了cookies的信息 ...
分类:
编程语言 时间:
2019-01-18 17:25:38
阅读次数:
235
Request库 r = requests.get(url) 这个包括两个语句:Response、Request,我们重点来看一下Response Response包含了页面返回的所有信息,下面是它的一些基本属性 ?r.headers:包含了get请求返回的页面的头部信息 ?r.status_cod ...
分类:
编程语言 时间:
2019-01-18 00:57:00
阅读次数:
211
第一种解决方式 测试的时候用起来很方便但是在正式的项目中用这种方法有时候达不到效果 第二种解决方法: 安装 django-cors-headers 参考博文: https://blog.csdn.net/larger5/article/details/81265339 重点: 要在setting中配 ...
分类:
其他好文 时间:
2019-01-17 22:41:57
阅读次数:
224
前言: 最近遇到的最多的问题就是表单提交数据格式问题了。 常见的三种表单提交数据格式,分别举例说明:(项目是vue的框架) 1.application/x-www-form-urlencoded 提交表单方法,js代码如下: 请求发送成功,看network headers信息,如图 这里显示的是Fo ...
分类:
其他好文 时间:
2019-01-16 20:36:27
阅读次数:
264
// http request 拦截器 axios.interceptors.request.use( config => { if (store.state.token) { // 判断是否存在token,如果存在的话,则每个http header都加上token config.headers.A... ...
分类:
移动开发 时间:
2019-01-16 16:39:39
阅读次数:
211