[TOC] 1 爬虫介绍 1.1 爬取流程 爬取的都是http/https的数据，移动端的数据，发送请求获取数据，并不是只有python能做爬虫（任何语言都可以做爬虫），python比较便捷，模块多，上手快，爬虫框架scrapy 发送http请求（requests模块） 》服务端返回数据（咱们要爬取 ...
分类：
其他好文 时间：
2020-03-03 09:14:52
阅读次数：
88
test 类型：str 解码类型：根据HTTP头部响应的编码做出有根据的推测，推测的文本编码。 改变编码的方式：response.encoding=”gbk” 用途：response.text返回的是Unicode型数据；一般用来获取文本response.text； content 类型：bytes ...
分类：
其他好文 时间：
2020-03-01 18:24:44
阅读次数：
78
grequests实际上就是封装了gevent里面的方法，然后配合上requests模块实现了异步的IO grequests = gevent + requests + greenlet grequests.map()内部的实现 def map(requests, stream=False, siz ...
分类：
其他好文 时间：
2020-02-28 20:53:13
阅读次数：
73
一、Request模块 1.HTTP for Humans,更简洁更友好 2.继承了urllib所有的特征 3.底层使用的是urllib3 4.?开源地址：https://github.com/requests/requests 5.中文文档?：https://requests.readthedoc ...
分类：
编程语言 时间：
2020-02-26 01:22:28
阅读次数：
83
import requests url = 'https://item.jd.com/2967929.html' try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text ...
分类：
其他好文 时间：
2020-02-25 09:56:44
阅读次数：
88
一、requests模块 （一）requests模块简介： urllib和requests模块是发起http请求最常见的模块。 需要安装：pip install requests （二）requests模块的get方法： 1、response=requests.get（ url=请求URL地址, h ...
分类：
其他好文 时间：
2020-02-12 18:48:57
阅读次数：
44
今天想写个简单的网络请求demo,但是在导入requests模块的时候给我报错： 上面的大致意思是：版本不对，建议我去自己电脑的python安装目录下面执行一下控制台，同时我还得保证自己的pip版本正确。 接下来我运行了一下控制台 上面说 我的pip 版本过时了 建议我升级一下 命令都给我了 pyt ...
分类：
编程语言 时间：
2020-02-09 14:25:38
阅读次数：
146
介绍 以前我们写爬虫，要导入和操作不同的模块，比如requests模块、gevent库、csv模块等。而在Scrapy里，你不需要这么做，因为很多爬虫需要涉及的功能，比如麻烦的异步，在Scrapy框架都自动实现了。 我们之前编写爬虫的方式，相当于在一个个地在拼零件，拼成一辆能跑的车。而Scrapy框 ...
分类：
其他好文 时间：
2020-01-31 00:59:54
阅读次数：
91
安装 requests.request() 请求接受的参数 requests.request(method, url, kwargs)类能够构造一个请求，支持不同的请求方式 request类中几个参数： method：请求方式。 url：请求URL。 kwargs： params：字典或者字节序列， ...
分类：
其他好文 时间：
2020-01-30 20:40:14
阅读次数：
79
