聚焦爬虫:爬取页面中指定的页面内容。编码流程：1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储数据解析分类：1.bs42.正则3.xpath(***)数据解析原理概述：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储1.进行指定标签的定位2.标签或者标签对应的属性中存储的数据值进行提取（解析）bs4进行数据解析数据解析的原理：1.标签定位2.提取标签、标签属性中存
分类：
编程语言 时间：
2020-07-22 20:21:41
阅读次数：
68
问题场景：修改查询数据时，页面有提示信息，但是定位到提示信息的位置后，通过ele.text或者其他方法都无法获取具体的提示内容；最后通过get_attribute('innerHTML')搞定。 示例：ele = self.driver.find_element_by_xpath("//div[2] ...
分类：
编程语言 时间：
2020-07-22 20:17:32
阅读次数：
83
前面介绍了，XPath, id , class , link text, partial link text, tag name, name 七大元素定位方法，本文介绍webdriver支持的最后一个方法：by_css。css和XPath类似，也需要掌握一些语法，才能写出正确的，完整的css选择表达 ...
分类：
编程语言 时间：
2020-07-22 16:14:20
阅读次数：
87
一：基本操作 1 from lxml import etree 2 text = ''' 3 <div> 4 <ul> 5 <li class="item-0"><a href="link1.html">first item</li> 6 <li class="item-1"><a href="li ...
分类：
其他好文 时间：
2020-07-16 22:04:45
阅读次数：
89
八种元素定位语法 https://www.cnblogs.com/eastonliu/p/9088301.html ''' by.py ''' class By(object): """ Set of supported locator strategies. """ ID = "id" XPATH ...
分类：
编程语言 时间：
2020-07-13 11:36:57
阅读次数：
71
18.增量式爬虫 增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能 ...
分类：
其他好文 时间：
2020-07-11 16:56:54
阅读次数：
54
import com.sun.org.apache.xpath.internal.objects.XString;public class Demo03 { public static void main(String[] args) { //整数拓展 进制 二进制0b 八进制0 十进制 十六进制0 ...
分类：
编程语言 时间：
2020-07-11 09:39:24
阅读次数：
63
SpringIOC容器Bean对象实例化模拟思路:定义Bean工厂接口，提供获取bean方法定义Bean工厂接口实现类，解析配置文件，实例化Bean对象实现获取Bean方法定义Bean属性对象packagecom.xxxx.spring;/***bean对象*用来接收配置文件中bean标签的id与class属性值*/publicclassMyBean{privateStringid;//bean对
分类：
编程语言 时间：
2020-07-08 21:28:10
阅读次数：
68
一、Xpath高级用法基础格式格式/轴方法::标签名[标签属性]实例//div/parent::span[@name=‘interName’]实例解释：定位span标签，span标签是div标签的父级，且span标签的name属性值为：interlNmae二、基础格式详解2.1层级路径格式讲解实例2.2标签位置以及标签属性讲解实例2.3xpath轴方法讲解实例2.4常用运算符三、实例演示常见场景：
分类：
Web程序 时间：
2020-07-06 14:34:24
阅读次数：
84
1.driver.current_url：用于获得当前页面的URL 2.driver.title：用于获取当前页面的标题 3.driver.page_source:用于获取页面html源代码4.driver.current_window_handle:用于获取当前窗口句柄5.driver.windo ...
