此处记录Python 第三方Request 模块的使用方法 1.安装pip安装 pip install requests 2.导入模块 import requests 3.简单使用 Get 请求 发送无参数的get请求,尝试获取某个网页. r = requests.get('http://www.b ...
分类：
编程语言 时间：
2020-12-07 12:39:47
阅读次数：
6
一、给定url，直接下载到本地 import re import requests from bs4 import BeautifulSoup def get_gif(url, a): response = requests.get(url) # 自己电脑上的文件夹路径，默认命名 a.gif wit ...
分类：
编程语言 时间：
2020-12-07 12:35:37
阅读次数：
6
python爬取贴吧数据 最近写个简单的爬取贴吧数据的demo，分享给大家 爬取内容包括： import requests import parsel # pip install parsel import urllib.request import urllib.parse import re i ...
分类：
数据库 时间：
2020-12-07 12:01:47
阅读次数：
9
使用的库 bs4 requests pymongo fastapi uvicorn 爬取ip 网络上搜索一下有很多提供HTTP代理的网站，直接使用BeautifulSoup将IP爬下来。 html =requests.get(url).text bs =BeautifulSoup(html,'htm ...
分类：
编程语言 时间：
2020-12-02 12:09:56
阅读次数：
6
背景 学习 Python 的话，仅掌握标准库是远不够的，有很多好用的第三方库我们也需要用到的，比如，由鼎鼎大名的 K 神开发的爬虫必不可少的 requests 库，一般都是必装的库吧。安装第三方库当然还是用 pip 命令安装最方便了。 但是，大家发现 pip install + 包名 的方式 安装第 ...
分类：
编程语言 时间：
2020-11-26 15:12:40
阅读次数：
8
前台Axios配置： axios.defaults.withCredentials = true; .Net Core 后台配置： #region CORS //跨域方法，先注入服务，声明策略，然后再下边app中配置开启中间件 services.AddCors(c => { //一般采用这种方法 c ...
分类：
移动开发 时间：
2020-11-23 12:38:19
阅读次数：
18
[A] 网络爬虫引发的问题 1. 当前网络爬虫根据规模可分为三种： 1. 小型规模，主要用于爬取网页，玩转网页，数据量小，并且对于爬取速度不敏感，这种爬虫可以直接通过Python提供的第三方库Requests即可实现 2. 中等规模，主要用于爬取网站，系列网站，数据量大，并且对于爬取速度有敏感性，如 ...
分类：
编程语言 时间：
2020-11-20 12:08:29
阅读次数：
11
接口自动化测试三部曲：1、构造请求 2、判断结果 3、数据库查询 1、Python的第三方包：requests 简介：requests可以用来做接口测试、接口自动化测试、爬虫等 requests的环境搭建：管理员身份在cmd运行：pip3 install requests -i https://py ...
分类：
编程语言 时间：
2020-11-18 13:19:45
阅读次数：
23
import datetime import json import requests from exception import AsstException #自定义 from log import logger #自定义 class Messenger(object): def __init__ ...
分类：
编程语言 时间：
2020-11-11 16:32:04
阅读次数：
9
首先在spiders下，创建muouren.py import scrapy import json import time class MyspiderSpider(scrapy.Spider): name = "muou" def start_requests(self): urls = ['h ...
