很多时候，我们查看元素的XPath信息，发现没有可以用来定位的id信息，这个时候我们就要考虑其他的可用的来定位元素。 练习场景：百度首页的搜索输入框 脚本如下： # coding=utf-8 from selenium import webdriver driver = webdriver.Chro ...
分类：
编程语言 时间：
2020-04-02 17:36:25
阅读次数：
95
动态网页分析 按照上一篇的分析，直接使用XPath找到该标签，然后通过parse提取出数据，在写入到item中就完事了。但是，当信心满满的写完代码后却发现，控制台输入了一个简简单单的 。 小问号你是否有很多朋友。 一顿操作猛如虎，一看输出数据无。那么这到底是怎么回事呢？我们从头开始分析。 打开Net ...
分类：
Web程序 时间：
2020-04-02 01:36:50
阅读次数：
127
一、元素识别 1、submit 1）提交表单 2）解决有些大表单提交按钮在浏览器下方固定隐藏 driver.find_element(By.XPATH, '//form[@target="hiddenwin"]').submit() 2、size 获取元素的尺寸 size = driver.find ...
分类：
编程语言 时间：
2020-04-02 00:59:12
阅读次数：
84
# 聚焦爬虫的设计思路:1.确定url, 发起请求, 获取响应 > 抓包, requests, urllib, aiohttp, scrapy2.数据解析 --> 目标数据, xpath, re正则, bs4, pyquery3.数据持久化 --> 文件系统, 数据库 --> MySQL, Mong ...
分类：
其他好文 时间：
2020-03-31 14:48:18
阅读次数：
81
今天学习了几个关于自动化的概念。 元素，网页元素（web element）。在页面上面的文本输入框、按钮、多选、单选、标签、和文字都叫元素，总之，凡是能在页面显示的对象都可以作文页面元素对象。 元素定位，有时候也叫Locator，一个HTML页面元素，可以用很多方法描述这样元素的位置。网页元素有自己 ...
分类：
编程语言 时间：
2020-03-30 14:39:34
阅读次数：
106
id name tagName className link Text partialLinkText cssSelector tagName By.cssSelector("input") ID By.cssSelector("input#id"); By.cssSelector("#id"); ...
分类：
其他好文 时间：
2020-03-29 16:37:40
阅读次数：
83
[toc] 1.需求描述 爬取hao6v电影网的数据，先通过xpath解析第一个页面，获取到每部电影的url详情页地址，然后解析详情页地址，获取出所需的数据 页面如下： 2.实现代码 运行结果如下： ...
分类：
编程语言 时间：
2020-03-28 21:56:49
阅读次数：
136
[toc] 1.下载XPath Helper 链接：https://pan.baidu.com/s/1ZWxsxauHaBSkK2ItjhPNwQ 提取码：9yg2 2.解压与安装 2.1 解压 先解压xpath helper.rar,下载后的压缩包如下图： 解压后即可得到文件：xpath help ...
分类：
编程语言 时间：
2020-03-27 15:34:27
阅读次数：
97
一. xpath定位：支持属性定位，只要属性唯一就可以定位到，无论是默认属性还是自定义属性 1.属性定位： 代码格式： //*[@name="city"] 如果有多个属性： /*[@name="city" and @size="4"] 其中//*代表全部元素，也可以用//select来过滤div的属 ...
分类：
Web程序 时间：
2020-03-27 14:24:10
阅读次数：
102
在业务使用的自动化测试工具很多。有开源的，有商业化的，各有各得特色，各有各得优点！下面我就介绍几个我用过的一款非常优秀的国产自动化测试工具。在现有的自动化软件当中，都是以元素的name、id、xpath、class、tag、link、partial_link、partial_link中的一种作为对元 ...
分类：
Web程序 时间：
2020-03-27 00:57:32
阅读次数：
1628
