码迷,mamicode.com
首页 >  
搜索关键字:selenium 爬虫    ( 16232个结果
第 10 章 数据驱动测试 Selenium 3+Python 3 自动化测试
第 10 章 数据驱动测试 数据驱动测试是自动化测试领域比较主流的设计模式之一,也是高级自动化测试工程师必备的技能之一。数据驱动框架是一种自动化测试框架,其目的在于可以让相同的脚本使用不同的测试数据,测试数据和测试行为(脚本)完全分离,便于测试的维护和扩展。 例如,测试登录操作时,需要用到多种用户来 ...
分类:编程语言   时间:2020-09-21 12:06:41    阅读次数:54
requests接口测试
request是一个很实用的python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到,Requests是python语言的第三方的库,专门用于发送HTTP请求 GET请求: r = requests.get("http://www.baidu.com") 传参: aa = {'key ...
分类:其他好文   时间:2020-09-21 11:57:20    阅读次数:58
爬虫之标签查找补充及selenium模块的安装及使用与案例
今日内容概要 bs模块之标签查找 过滤器 selenium模块 今日内容详细 html_doc = """ <html> <head> <title>The Dormouse's story</title> </head> <body> <p id="my p" class="title"> <b ...
分类:其他好文   时间:2020-09-21 11:55:31    阅读次数:44
driver.switch_to.frame()
切换到frame的三种方式: 1、id 2、name 3、标签名 # coding:utf-8 from selenium import webdriver # 实例化 driver = webdriver.Chrome() # 发起请求 driver.get("http://mail.163.co ...
分类:其他好文   时间:2020-09-21 11:55:13    阅读次数:42
Scrapy爬虫框架使用Ⅱ
基于Spider父类进行全站数据的爬取 全站数据的爬取:将所有页码对应的页面数据进行爬取 手动请求的发送(get): yield scrapy.Request(url,callback) 对yield的总结: 向管道提交item对象 yield item 手动请求发送 yield scrapy.Re ...
分类:其他好文   时间:2020-09-21 11:50:33    阅读次数:45
Scrapy爬虫框架使用Ⅲ
scrapy下载图片 爬虫类中,将img_src作为item的属性yield即可 关键实现点在管道类里 导入一个图片的管道类 from scrapy.pipelines.images import ImagesPipeline 发请求 import scrapy 重写图片管道类的三个父类方法 get ...
分类:其他好文   时间:2020-09-21 11:50:07    阅读次数:31
理解灭霸 | 手把手教你科学避开小长假出游高峰
https://mp.weixin.qq.com/s/PIzxQE8Q2HLSYtr13FoaMQBy超神经场景描述:将AI技术如计算机视觉、语音识别、自然语言处理、大数据分析等应用到旅游服务业中,一方面可帮助游客减少不必要的时间与金钱浪费,另一方面,可提升景区服务效率与质量,实现双赢局面。关键词:爬虫计算机视觉语音识别自然语言处理大数据分析云计算「五一」小长假结束了,有没有计算一下你的假期时间都
分类:其他好文   时间:2020-09-21 11:40:18    阅读次数:33
Web自动化测试之 实战一、企业微信Web端自动化测试实战
企业微信web端自动化测试实战(一) 1.课程贴 https://ceshiren.com/t/topic/2795/2 2.课堂演示源码链接 https://github.com/ceshiren/HogwartsLG2 3.selenium官方网站 https://www.selenium.de ...
分类:微信   时间:2020-09-18 17:28:38    阅读次数:115
网络爬虫类型分类
从理解爬虫的角度看,根据具体应用的不同,爬虫系统在许多方面存在差异,大体而已,IPIDEA做以总结将爬虫系统分为如下3种类型。垂直型爬虫,关注特定主题内容或者属于特定行业的网页,比如对于健康网站来说,只需要从互联网页面里找到与健康相关的页面内容即可,其他行业的内容不在考虑范围。垂直型爬虫一个最大的特点和难点就是:如何识别网页内容是否属于指定行业或主题。从节省系统资源的角度来讲,不可能把所有互联网页
分类:其他好文   时间:2020-09-18 12:25:27    阅读次数:61
scrapy框架
什么是scrapy框架: scrapy是一个基于Twisted异步框架的爬虫框架,scrapy具有异步性,效率高。 scrapy是用于爬取结构化数据 适合构建大型爬虫应用。 scrapy安装配置 lxml, wheel, Twisted, pywin32, scrapy 项目的常见与运行 创建: 1 ...
分类:其他好文   时间:2020-09-18 03:08:48    阅读次数:31
16232条   上一页 1 ... 32 33 34 35 36 ... 1624 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!