刚开始爬取的时候没有用headers伪装成是浏览器，导致麦田北京和福州小区把我的ip给禁掉了，还好后来发现原因也还剩下厦门小区没被我弄坏，代码如下： ...
分类：
其他好文 时间：
2019-08-26 23:10:46
阅读次数：
95
发送get,post请求，获取响应 安装requests模块： pip install requests response=requests.get(url,headers={})#发送get请求，请求url地址对应的响应 response=requests.post(url,headers=,{} ...
分类：
其他好文 时间：
2019-08-26 22:55:22
阅读次数：
96
华为magicbook安装Ubuntu16.04没有wifi问题解决办法：解决办法：将kernel升级到4.15版本即可到网上搜索kernel4.15的deb包（linux-headers-4.15.1-xxx.deb、linux-headers-4.15.1-xxx-geniric_xxx.deb、linux-image-4.15.1-xxx-generic_xxx.deb）安装下然后重启电脑即
分类：
系统相关 时间：
2019-08-26 19:26:40
阅读次数：
394
在Ajax2.0中多了CORS允许我们跨域，但是其中有着几种的限制：Origin、Methods、Headers、Credentials 1.Origin 当浏览器用Ajax跨域请求的时候，会带上一个请求头“Origin: 协议://页面域名”,而服务器需要返回一个响应头“Access-Contro ...
分类：
Web程序 时间：
2019-08-25 20:16:31
阅读次数：
162
一、跨域背景 1.1 何为跨域？ 的一般格式： 示例： 是由 + + + + 组成。 只要协议，子域名，主域名，端口号这四项组成部分中有一项不同，就可以认为是不同的域，不同的域之间互相访问资源，就被称之为跨域。 1.2 一次正常的请求 Controller层代码： 启动项目，测试请求 浏览器打开 " ...
分类：
编程语言 时间：
2019-08-25 18:26:05
阅读次数：
157
响应头和响应体是用两个换行分割的 sk.setblock(False) 不阻塞 host是IP 比如www.baidu.com也是host，IP地址也是 r,w,e=select.select() w是连接成功的socket对象 r是有数据返回的socket对象 IO多路复用：r,w,e=while ...
分类：
其他好文 时间：
2019-08-25 01:14:21
阅读次数：
96
requests.post(url=url,json=post_dict) requests.post(url=url,data=json.dumps(post_dict),headers={'content_Type':'application/json;charset=utf-8'}) ensu ...
分类：
微信 时间：
2019-08-25 01:12:22
阅读次数：
126
网站爬数据：1、url分析 请求方式 get / post 2、提交不能成功+cookies或headers ...
分类：
微信 时间：
2019-08-25 00:48:18
阅读次数：
132
目标爬取社会信用码 http://125.35.6.84:81/xk/ 1.首先界面是一个简单的分页查询 2.刷新一下，发现数据是ajax请求的 3.查相关参数 4.点击一条记录进去 5.发现数据也是ajax请求的 6.查看参数发现，是根据之前的ID查询的 7.开始work，首先爬取前面数据的ID， ...
分类：
其他好文 时间：
2019-08-23 13:26:01
阅读次数：
58
https://github.com/ottoyiu/django-cors-headers/ 安装django-cors-headers模块 在settings.py中配置# 注册appINSTALLED_APPS = [ 'corsheaders']# 添加中间件MIDDLEWARE = [ ' ...
分类：
其他好文 时间：
2019-08-23 00:15:08
阅读次数：
110
