1:介绍 requests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到， Requests是Python语言的第三方的库，专门用于发送HTTP请求 2:安装 在cmd窗口或者prcharm的命令行输入： pip install requests 3:get的 ...
分类：
其他好文 时间：
2021-03-05 13:03:01
阅读次数：
0
记一个代理获取方法 语言：Python 库：requests、lxml、time、random 代理网站：https://www.kuaidaili.com/free/ 思路：通过访问链接来获取代理并且进行代理测试有效后写入txt保存 步骤： 1.查看页面的翻页地址发现相同规律后可做翻页请求 2.每 ...
分类：
其他好文 时间：
2021-03-05 13:02:42
阅读次数：
0
import requests import re import os from glom import * def get_video(url): requests.packages.urllib3.disable_warnings() session = requests.session() h ...
分类：
其他好文 时间：
2021-03-02 11:50:01
阅读次数：
0
第一部分 分析： 使用selenium获得登陆的cookie，再把cookie传递给requests这种更换请求方式爬取登陆微信公众号平台后的数据，是不行的，所以手动扫码登陆网页的微信公众号平台登陆后，接着使用selenium进行抓取数据等操作（自己分析实践下就知道了） 代码部分： 这里使用Jupy ...
分类：
微信 时间：
2021-03-01 13:22:06
阅读次数：
0
一、背景 因为经常有爬虫数据处理的需求，之前一直用的多线程+requests方式爬虫，但是这种方式有两个问题： 1、当请求很多，并发稍微多一点的时候电脑特别卡 2、每次变更请求包，比如post换get，需要用不同的方式解析出header等数据不是很方便 主要基于这两个原因，搞了一个基于socket+ ...
分类：
其他好文 时间：
2021-02-27 13:13:04
阅读次数：
0
Python设计语言如何查看自带的模块的方法和属性？其中，它有内置函数dir()，需要查看什么模块，首先导入该模块，然后调用函数dir()。 1.通用的帮助函数help（） 使用help（）函数来查看函数的帮助信息。 如: 1 import requests 2 3 help(requests) 会 ...
分类：
编程语言 时间：
2021-02-24 13:12:59
阅读次数：
0
验证码识别 反爬机制：验证码，识别验证码图片中的数据，用于模拟登录操作 验证码识别的操作：推荐第三方自动识别——超级鹰等 实战一：古诗文网登录页面中的验证码。 使用打码平台识别验证码的编码流程： -将验证码图片进行本地下载 -调用平台提供的示例代码进行图片数据识别 1 import requests ...
分类：
其他好文 时间：
2021-02-18 13:26:34
阅读次数：
0
import requests import re import os import json import time as t class QQmusic(): """代码仅供学习""" def __init__(self): """初始化""" self.headers = { 'Accept- ...
分类：
其他好文 时间：
2021-02-15 12:44:00
阅读次数：
0
需要引入geopy库 pip install geopy 安装即可 import requests from bs4 import BeautifulSoup import pandas as pd import json import os from tqdm import tqdm from c ...
分类：
编程语言 时间：
2021-02-15 12:35:11
阅读次数：
0
项目场景： 提示：axios发送get和post请求都提示： Access to script at ‘XXXX’ from origin ‘null’ has been blocked by CORS policy: Cross origin requests are only supported ...
分类：
移动开发 时间：
2021-02-15 11:38:58
阅读次数：
0
