动态渲染页面爬取 JavaScript动态渲染 其中一种方式是Ajax请求,通过直接分析Ajax再用requests来实现数据爬取 另外一种方式是模拟浏览器运行 一、 Selenium库 Selenium是自动化测试工具,可以驱动浏览器执行特定动作(点击、下拉),还可以获取浏览器当前呈现页面的源代码 ...
分类:
其他好文 时间:
2020-04-11 17:03:01
阅读次数:
89
python实现UI自动化整理 1、用到的包 selenium 常见的浏览器操作 openpyxl 读写处理excel数据参数 PyMySQL(python3) 读写mysql数据库 2、定位元素的方式: a、id b、name c、class d、tag_name e、link_text f、pa ...
分类:
编程语言 时间:
2020-04-10 18:29:38
阅读次数:
77
目标:实现三个页面,两个测试脚本。 练习场景:新建了2个页面对象:百度新闻首页,百度体育新闻首页,具体文件结构如下图,其他和之前项目层级结构保持不变。 1.百度首页页面类代码(baidu_homepage.py),定义了百度新闻的入口 from framework.base_page import ...
分类:
编程语言 时间:
2020-04-10 12:04:58
阅读次数:
96
一、定义一个自己的MyLog类二、使用rootlogging在其他模块需要打印日志只需要引入该模块,再引入logging模块即可使用
分类:
其他好文 时间:
2020-04-10 09:16:33
阅读次数:
78
testdata.xlsx 脚本: from selenium import webdriverimport timeimport datetimefrom openpyxl import *wb=load_workbook(r"D:\TestFrame\TestDate\testdata.xlsx ...
分类:
编程语言 时间:
2020-04-09 00:56:10
阅读次数:
94
目标:如何写一个Python日志类,用来输出不同级别的日志信息到本地文件夹下的日志文件里。 练习场景: 我们需要封装一个简单的日志类,主要有以下内容: 1.生成的日志文件格式是 年月日分秒.log 2.生成的XXX.log文件存储在项目根目录下Logs文件夹下 3.这个日志类,支持INFO,ERRO ...
分类:
编程语言 时间:
2020-04-08 16:18:53
阅读次数:
91
关于Python中类和函数及方法的调用,我们写在这个demo.py文件,具体代码如下: # coding = utf-8 class ClassA(object): string1 = "这是一个字符串。" def insteancefunc(self): print('这是一个实例方法。') pr ...
分类:
编程语言 时间:
2020-04-08 10:08:01
阅读次数:
63
目标:利用Selenium方法进行截图。在selenium for python中主要有三个截图方法,我们挑选其中最常用的一种。get_screenshot_as_file() 具体代码: # coding = utf-8 import time from selenium import webdr ...
分类:
编程语言 时间:
2020-04-07 15:38:00
阅读次数:
70
目标:如何通过Selenium方法处理网页Alert弹窗。 练习场景:和处理iframe类似,都是通过switch—_to方法。可以通过执行JS来增加一个弹窗。 具体代码: # coding= utf-8 import time from selenium import webdriver driv ...
分类:
编程语言 时间:
2020-04-07 12:44:06
阅读次数:
61
selenium自动化脚本最基础的就是元素定位和元素操作,下面就以百度为例介绍最常见的xpath定位方式 基本定位方式: 以百度的搜索框为例 from selenium import webdriver import time driver = webdriver.Chrome() driver.g ...
分类:
编程语言 时间:
2020-04-07 09:46:16
阅读次数:
68