经过几天的学习，今天终于完成了首都之窗的数据爬取，现在进行一下总结： 首都之窗的爬取我进行里两步： 一，使用selenium模拟浏览器翻页，爬取列表页上的信息，主要是各个详情页的url（详细说明请看上篇博客) spider.py 1 # -*- coding: utf-8 -*- 2 import ...
分类：
其他好文 时间：
2020-02-08 00:04:06
阅读次数：
66
# -*- coding: utf-8 -*- # 类似selenium，支持异步，不需要再单独安装环境，pyppeteer自动安装环境 # 异步await要写到一个函数的内部 from pyppeteer import launch import asyncio from lxml import ...
分类：
其他好文 时间：
2020-02-07 17:07:39
阅读次数：
169
1、Python3+Selenium3自动化测试环境搭建 2、Python简单学习 3、元素定位 4、常用浏览器操作 5、断言与验证信息 6、表单、窗口切换 7、上传、下载文件 8、单元测试框架 9、HTML测试报告 10、PO设计模式（Page Object） 未完待续。。。 ...
分类：
编程语言 时间：
2020-02-07 16:23:17
阅读次数：
77
错误再现 原因：firefox浏览器版本和浏览器驱动版本不匹配 解决办法：卸载高版本浏览器，安装低版本浏览器 ...
分类：
其他好文 时间：
2020-02-07 15:02:13
阅读次数：
71
环境版本： python版本：3.6.5 Selenium版本：3.141.0 FireFox 68.0.1（64 位） Chrome 76.0.3809.132（正式版本）（64 位） 一、安装Python3，配置环境变量 原有python版本：3.6.5，并且已经配置过环境变量，可以继续使用 但 ...
分类：
编程语言 时间：
2020-02-07 12:28:35
阅读次数：
106
1.selenium获取网页iframe内容 语法：driver.switch_to.frame(iframe) ①通过tag_name driver.get(url) #该iframe为页面的第几个iframe iframe = driver.find_elements_by_tag_name(' ...
分类：
Web程序 时间：
2020-02-06 16:49:03
阅读次数：
104
1、 from selenium import webdriver #启动chrom浏览器，没写executable_path，这是因为配置环境时，已经将chromdriver放到python安装文件下，没填写时，会默认到$PATH下寻找 driver = webdriver.Chrome() #访 ...
分类：
其他好文 时间：
2020-02-05 11:57:25
阅读次数：
67
今天心神俱疲，准备爬取淘宝数据，淘宝的反爬机制太严格了，用的python?selenium?chrome去爬的数据，一天就是在坑里挣扎， 1.谷歌浏览器驱动界面必须是有谷歌浏览器的哈，然后对应自己浏览器的版本去下载chromedriver.exe文件，下载地址可看下篇博客 2.可能因为版本问题或者网 ...
分类：
其他好文 时间：
2020-02-04 00:42:35
阅读次数：
92
1）Selenium Core：支持DHTML的测试案例（效果类似数据驱动测试），它是Selenium IDE和Selenium RC的引擎。 （2）Selenium IDE：FireFox的一个插件，支持脚本录制、调试和用例生成。 （3）Selenium RC：Selenium Remote Co ...
分类：
其他好文 时间：
2020-02-02 17:57:05
阅读次数：
72
下面和大家分享一下，ui自动化中截图方法。 代码如下： def screen_shot(self): current_time=datatime.fromtimestamp(int(time.time())) #获取当前时间 self.driver.sava_screenshot(os.path.j ...
分类：
其他好文 时间：
2020-02-02 13:52:08
阅读次数：
85
