Requests基于urllib3比urllib更简单方便。 基本的GET请求 1 2 3 4 import requests response = requests.get('http://httpbin.org/get') print(response.text) 1 2 3 4 import ...
分类：
其他好文 时间：
2018-10-17 11:07:57
阅读次数：
176
def start_requests(self): for i in self.start_urls: yield Request(i, meta={ 'dont_redirect': True, 'handle_httpstatus_list': [302] }, c... ...
分类：
其他好文 时间：
2018-10-17 11:07:00
阅读次数：
1107
Requests+正则表达式爬取猫眼TOP100榜电影信息 MARK：将信息写入文件解决乱码方法，开启进程池秒爬。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 ...
分类：
其他好文 时间：
2018-10-17 11:05:40
阅读次数：
229
requests模块发送请求有data、json、params三种携带参数的方法。 params在get请求中使用，data、json在post请求中使用。 通过介绍，params是往url后面添加参数。 常见的form表单可以直接使用data参数进行报文提交，data的对象则是python中的字典 ...
分类：
编程语言 时间：
2018-10-16 16:06:18
阅读次数：
593
在爬虫代码的编写中，requests请求网页的时候常常请求失败或错误，一般的操作是各种判断状态和超时，需要多次重试请求，这种情况下，如果想优雅的实现功能，可以学习下retrying包下的retry装饰器的使用 安装：pip install retrying 在@retry()装饰器中，比较重要的几个 ...
分类：
编程语言 时间：
2018-10-16 13:39:55
阅读次数：
332
第一节：技术选型，爬虫能做什么技术选型scrapy vs requests + beautifulsoup1. requests + beautifulsoup都是库，scrapy是框架2.scrapy框架中可以加入requests + beautifulsoup3.scrapy基于twisted， ...
分类：
其他好文 时间：
2018-10-16 01:42:53
阅读次数：
146
1.打开今日头条：https://www.toutiao.com 2.搜索街拍 3.检查元素，查看请求发现在URL中每次只有offset发生改变，是一个get请求 ...
分类：
Web程序 时间：
2018-10-15 20:49:27
阅读次数：
248
Requests模块；Beautiful Soup模块；实战：爬取汽车之家新网咨询，登录抽屉并点赞；Requests模块详细：所有的参数，Session，优化登录抽屉并点赞
分类：
编程语言 时间：
2018-10-15 20:49:10
阅读次数：
193
Requests Requests模块 Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能。 在上一篇我们已经使用urllib模块 而Requests会比urllib更加方便，可以节约我们大 ...
分类：
其他好文 时间：
2018-10-15 20:41:47
阅读次数：
651
1. 目标： 对猫眼电影前100名的爬取，并将结果以文件的形式保存下来 2. 准备工作： requests库 3. 抓取分析 offset代表偏移量值，分开请求10次，就可以获取前100的电影 4.抓取首页 5.正则提取 6.文件提取 7.代码整合 8.每页爬取 总代码： ...
分类：
其他好文 时间：
2018-10-14 13:55:29
阅读次数：
115
