码迷,mamicode.com
首页 >  
搜索关键字:requests 、beautifulsoup    ( 5272个结果
requests与Unittest的结合形成自动化测试
requests与Unittest的结合形成自动化测试 py文件1 import json import unittest,requests,parameterized def yun_login(username,password): url = "http://yun.zenm.vip/iot/ ...
分类:其他好文   时间:2021-06-25 16:50:40    阅读次数:0
在Scrapy中添加Cookie
1.在settings中开启Cookie COOKIES_ENABLED = True 2.重写 start_requests方法 初始化开始url(方便添加cookie) 列: from scrapy import Request class ASpider(CrawlSpider): name ...
分类:其他好文   时间:2021-06-25 16:45:37    阅读次数:0
bs4解析拉勾网网页
from urllib.request import urlopen from bs4 import BeautifulSoup as BS url = "http://www.lagou.com" # (1)获取response对象 response = urlopen(url) # (2)获得r ...
分类:Web程序   时间:2021-06-25 16:38:55    阅读次数:0
python爬虫学习(一)requests爬取服务器数据
通过爬取豆瓣的电影排行榜 import requests url = "https://movie.douban.com/j/chart/top_list" #params是get请求带参数 #data是post请求带参数 #重新进行封装参数 param = { "type":"24", "inte ...
分类:编程语言   时间:2021-06-22 18:36:49    阅读次数:0
python+requests接口自动化测试4--参数化
在自动化测试中,一个测试用例对应一个测试点,通常一组测试数据无法完全覆盖测试范围,所以,需要参数化来传递多组数据。 将每个用例及对应需要输入的参数都保存在excel表的每一行里,执行用例时循环取出每组数据就可以了。 测试用例如下: operation_excel.py import xlrd fro ...
分类:编程语言   时间:2021-06-22 18:32:26    阅读次数:0
每日日报
beautifulsoup之CSS选择器 BeautifulSoup支持大部分的CSS选择器,其语法为:向tag或soup对象的.select()方法中传入字符串参数,选择的结果以列表形式返回。 tag.select("string") BeautifulSoup.select("string") ...
分类:其他好文   时间:2021-06-21 20:26:48    阅读次数:0
天气情况的获取
函数获取使用高德天气接口 import requests 爬取数据 def read_location(name): centerurl = "https://restapi.amap.com/v3/config/district?keywords=" centerurl2 = "&subdistr ...
分类:其他好文   时间:2021-06-21 20:05:25    阅读次数:0
Prometheus时序数据
时序数据,即按照相同时序(time series),以时间维度存储的连续数据的集合。 Prometheus存储的时序数据,时序是由Metric以及一组key/value标签定义的,具有相同的Metric以及key/value(例如http_requests_total{method="POST"}) ...
分类:其他好文   时间:2021-06-20 18:20:27    阅读次数:0
python网络爬虫设计————豆瓣小说爬取
选题的背景为什么要选择此选题?要达到的数据分析的预期目标是什么? 小说是文化的一种载体,在古今中外的历史中都占据着重要的地位。人蒙对小说的需求也并不相同,如何在大量的小说里选取自己喜欢的小说,成为了问题,基于Python的数据爬虫技术是目前使用最广泛的方法之一,它能够以最快捷的方式展示用户体验数据, ...
分类:编程语言   时间:2021-06-20 17:51:57    阅读次数:0
python logging 禁止es requests模块输出info级别日志
项目日志级别设置为 INFO es 和request 输出很多日志影响分析查看,把这两个模块日志输出级别设置为WARN request 模块设置 logging.getLogger("requests").setLevel(logging.WARNING) es 模块设置 logging.getLo ...
分类:编程语言   时间:2021-06-19 19:08:21    阅读次数:0
5272条   1 2 3 4 ... 528 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!