selenium自动化脚本最基础的就是元素定位和元素操作，下面就以百度为例介绍最常见的xpath定位方式 基本定位方式: 以百度的搜索框为例 from selenium import webdriver import time driver = webdriver.Chrome() driver.g ...
分类：
编程语言 时间：
2020-04-07 09:46:16
阅读次数：
68
结构化数据：json，xml等 处理方式：直接转化为python类型 非结构化数据：HTML 处理方式：正则表达式、xpath #json.dumps 实现python类型转化为json字符串 #indent实现换行和空格 #ensure_ascii=False实现让中文写入的时候保持为中文 jso ...
分类：
编程语言 时间：
2020-04-06 20:26:45
阅读次数：
78
请求库urllib使用 请求库requests库使用 python操作excel 解析库BeautifulSoup使用 解析库Xpath使用 解析库pyquery使用 python3用execjs执行JS代码 Selenium浏览器自动化测试工具 静态字体加密分析 ...
分类：
其他好文 时间：
2020-04-06 10:03:52
阅读次数：
98
CrawlSpider Scrapy框架中分两类爬虫，Spider类和CrawlSpider类。 它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页， 而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link ...
分类：
Web程序 时间：
2020-04-06 09:26:33
阅读次数：
96
1.什么是XPath 一种在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历 2.节点 节点类型 在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。其中，XML 文档是被作为节点树来对待的。树的根被称为文档节点 ...
分类：
其他好文 时间：
2020-04-05 22:18:26
阅读次数：
86
XPath 语法 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 XML 实例文档 我们将在下面的例子中使用这个 XML 文档。 实例 <?xml version="1.0" encoding="UTF-8"?> ...
分类：
其他好文 时间：
2020-04-04 14:22:51
阅读次数：
57
一、元素得到焦点 #找到这个元素 ele = driver.find_element_by_xpath('//a[text()="_百度百科"]') #利用js将为元素设置焦点 driver.execute_script("arguments[0].focus();", ele) 二、元素失去焦点 ...
分类：
其他好文 时间：
2020-04-03 16:25:51
阅读次数：
55
后置处理器--提取器常用的提取器：a.正则提取器 适用于所有返回的格式b.json提取器 只适用于返回的是json格式的数据c.边界值提取器 适用于所有返回的格式d.Xpath提取器 只适用于返回的是html格式或者xml格式的数据作用：一般做接口测试时候，尤其碰到某个接口需要用到上一个接口的数据， ...
分类：
其他好文 时间：
2020-04-02 22:56:06
阅读次数：
80
目标:通过继承通用爬虫,实现多个具体爬虫,分别从各个免费代理ip网站上抓取代理ip 步骤 1.实现西刺代理,ip3366代理和快代理还有proxylistplus代理 定义一个类,继承通用爬虫类 提供urls,group_xpath和detail_xpath 2.实现66ip爬虫 定义一个类,继承通 ...
分类：
编程语言 时间：
2020-04-02 22:49:45
阅读次数：
108
需求:爬取站长素材中的高清图片 一.数据解析（图片的地址) 通过xpath解析出图片src的属性值。只需要将img的src的属性值进行解析,提交到管道, 管道就会对图片的src进行请求发送获取图片 spider文件 class ImgSpider(scrapy.Spider): name = 'im ...
分类：
其他好文 时间：
2020-04-02 22:26:22
阅读次数：
100
