requests模块和urllib模块爬取图片 requests模块 import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, lik ...
分类：
Web程序 时间：
2020-06-09 12:50:32
阅读次数：
65
requests模块数据解析 数据解析最根本的作用：定位到某个标签，并获取该标签的文本或者属性 解析：根据指定的规则对数据进行提取 作用：实现聚焦爬虫 聚焦爬虫的编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 数据解析的方式: 正则 bs4 xpath 通用原理: 1.标签定位 ...
分类：
其他好文 时间：
2020-06-09 12:49:24
阅读次数：
82
selenium 概念：基于浏览器自动化的一个模块. selenium和爬虫之间的关联是什么? 便捷的获取页面中动态加载的数据 requests模块进行数据爬取:可见非可得 selenium:可见即可得 主要用于爬取动态加载的数据，直接用selenium就可以获取 注意点：selenium完全对浏览 ...
分类：
其他好文 时间：
2020-06-09 12:41:59
阅读次数：
89
前言：愿每个晴朗的日子，你都能开怀大笑～ 方式一：导入OrderedDict模块 from collections import OrderedDict headerinfos_01 = { 'Accept':'application/json, text/javascript, */*; q=0. ...
分类：
其他好文 时间：
2020-06-08 00:16:21
阅读次数：
89
安装方式 方式一： 执行 pip install -U requests 联网安装requests pip install -U reqiests 方式二： 1.进入https://pypi.org/project/requests/#files下载并解压requests-***.tar.gz 2. ...
分类：
其他好文 时间：
2020-06-07 21:32:23
阅读次数：
79
1、get请求 1 import requests 2 3 # get请求 4 url = 'http://api.nnzhp.cn/api/user/stu_info' 5 res = requests.get(url,params={'stu_name':'abc'}) 6 print(res. ...
分类：
编程语言 时间：
2020-05-28 00:46:14
阅读次数：
64
requests库数据挖掘 requests安装和使用 下载安装：pip install requests #requests模块 import requests #发送请求 content:以二进制的形式获取网页的内容 response=requests.get("http://www.baidu ...
分类：
编程语言 时间：
2020-05-25 15:28:31
阅读次数：
63
一、requests模块 1、get请求 断言 2、post请求 3、代理请求 4、模拟登录请求 使用session登录 使用cookie登录 使用cookie登录2 5、requests获取HTML 6、requests获取图片 7、cookie转换字典 8、URL编解码 9、忽略HTTPS证书和 ...
分类：
编程语言 时间：
2020-05-24 00:36:58
阅读次数：
61
1.没啥说的 代码上步骤我都写清楚了，下载图片用的json，re，requests模块打包用的是tarfile模块 批量下载 import requests import time import re import json #英雄联盟官网资料库里面打开F12，然后点一张图片，通过js过滤后，找到c ...
分类：
其他好文 时间：
2020-05-23 09:17:09
阅读次数：
126
1.我们爬虫一般使用的模块为urllib和requests模块，现在requests基本代替了urllib2.爬虫的基本步骤 第一步：获取指定的url(要爬取的数据发起的请求url) 第二步：发起请求（根据请求方式（POST,GET）发起请求）response = requsts.get(url) ...
分类：
其他好文 时间：
2020-05-21 13:23:27
阅读次数：
48
