一、requests基于cookie操作 引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，因为没有携带登录的cookie，所以爬去下来的并不是个人主页数据，而是人人网首页的数据， ...
分类：
编程语言 时间：
2018-09-26 20:45:05
阅读次数：
226
爬虫报错“SSL: CERTIFICATE_VERIFY_FAILED”的解决方案 全局取消证书验证 import ssl ssl._create_default_https_context = ssl._create_unverified_context 另外，如果用的是requests模块的ge ...
分类：
其他好文 时间：
2018-09-23 18:23:47
阅读次数：
146
1、requests 模块 res = requests.get("url") 请求网页 res.text 将获取的网页转化成文本格式 具体函数 res = requests.get("url") res.text >获取文本 res.content >下载内容 举例 img_res= rreque ...
分类：
其他好文 时间：
2018-09-15 23:18:26
阅读次数：
187
首先是源码： 错误故障： 根据错误提示 在网上找到以下几个点： 1. requests 模块太老，须升级： 2. 连接数太多，没有释放： 3. 加代理服务器： 分析： 因为是自建的网站，所以排除封锁IP的可能，所以代理服务器方法不用尝试。 尝试方法1和2，看后续效果。 ...
分类：
Web程序 时间：
2018-09-14 11:03:22
阅读次数：
299
<!--done--> 爬虫简介 概述 近年来，随着网络应用的逐渐扩展和深入，如何高效的获取网上数据成为了无数公司和个人的追求，在大数据时代，谁掌握了更多的数据，谁就可以获得更高的利益，而网络爬虫是其中最为常用的一种从网上爬取数据的手段。 网络爬虫，即Web Spider，是一个很形象的名字。如果把 ...
分类：
其他好文 时间：
2018-09-12 22:58:05
阅读次数：
282
爬虫系列之第1章-requests模块 爬虫系列之第2章-BS和Xpath模块 爬虫系列之第3章-Selenium模块 爬虫系列之第4章-scrapy框架 ...
分类：
其他好文 时间：
2018-09-10 13:26:07
阅读次数：
140
Interface1、requests模块 pip install requestsget请求import requestsr = requests.get('xxx') #接口请求get参数params，par={"name":"wapn"}字典形式传参 r = requests.get('xxx ...
分类：
其他好文 时间：
2018-09-07 00:02:54
阅读次数：
258
标签（空格分隔）： requests 环境配置 pip install requests get请求： 1.导入requests后，用get方法就能直接访问url地址，如：http://www.cnblogs.com/surewing/，看起来是不是很酷 2.这里的r也就是response，请求后的 ...
分类：
其他好文 时间：
2018-09-03 15:33:45
阅读次数：
161
4、Requests示例 json请求 xml请求 5、参考文档 http://cn.python-requests.org/en/latest/ http://docs.python-requests.org/en/latest/user/quickstart.html ...
分类：
其他好文 时间：
2018-09-01 12:21:39
阅读次数：
151
一: 安装pip 1 安装软件 1 : 运行输入"cmd"，进入Dos窗口。 2 : 输入"pip"，出现如图说明python自带工具pip没问题。 1 : 输入"pip install requests"(安装requests模块)。 2 : 不要打开fiddler或其他代理工具，否则会报SSL错 ...
分类：
编程语言 时间：
2018-08-22 14:07:49
阅读次数：
155
