码迷,mamicode.com
首页 >  
搜索关键字:selenium 爬虫    ( 16232个结果
Selenium+java - 关于富文本编辑器的处理
Selenium+java-关于富文本编辑器的处理什么是富文本编辑器?富文本编辑器,RichTextEditor,简称RTE,是一种可内嵌于浏览器,所见即所得的文本编辑器。具体长啥样,如下图:通过自动化操作富文本编辑器模拟场景:在富文本编辑器中输入:欢迎关注公众号:软件测试君1、通过键盘事件实现输入具体代码如下:/***通过键盘事件实现输入操作*/@TestpublicvoidtestByActi
分类:编程语言   时间:2020-12-04 11:09:16    阅读次数:4
Selenium+java - 单选框及复选框处理
Selenium+java-单选框及复选框处理一、什么是单选框、复选框?二、被测页面html源代码CheckBoxRadioDemo.html<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title>CheckBox、Radio练习案例</title><
分类:编程语言   时间:2020-12-04 11:06:52    阅读次数:6
Selenium+java - 中常见等待的几种形式
Selenium+java-中常见等待的几种形式前言在自动化测试中,我们经常会碰到编写脚本过程中操作某个元素的时候,需要等待页面加载完成后,才能对元素操作,否则会报错,提示页面元素不存在异常,我们需要等待元素加载完成后,才能继续操作,而Selenium为我们提供了对应的等待方法,来判断元素是否存在。下面将用一个例子,针对元素等待操作做逐一讲解实际案例场景:点击【创建div】按钮,3秒后,页面会出现
分类:编程语言   时间:2020-12-04 11:06:18    阅读次数:3
selenium总结
1.获取当前页面的url方法:current_url 实例:driver.current_url 2.获取元素坐标方法:location解释:首先查找到你要获取元素的,然后调用location方法实例:driver.find_element_by_xpath("xpath").location 3. ...
分类:其他好文   时间:2020-12-03 12:10:18    阅读次数:7
python+fastapi自建HTTP爬虫IP池接口
使用的库 bs4 requests pymongo fastapi uvicorn 爬取ip 网络上搜索一下有很多提供HTTP代理的网站,直接使用BeautifulSoup将IP爬下来。 html =requests.get(url).text bs =BeautifulSoup(html,'htm ...
分类:编程语言   时间:2020-12-02 12:09:56    阅读次数:6
爬虫Ⅱ:scrapy框架
爬虫Ⅱ:scrapy框架 step5: Scrapy框架初识 Scrapy框架的使用 pySpider 什么是框架: 就是一个具有很强通用性且集成了很多功能的项目模板(可以被应用在各种需求中) scrapy集成好的功能: 高性能的数据解析操作(xpath) 高性能的数据下载:基于异步 高性能的持久化 ...
分类:其他好文   时间:2020-11-30 16:05:04    阅读次数:8
scrappy 的概念和流程
一:scrapy的概念和流程 1:scrapy 的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['tw?st?d]异步网络框架,可以加快我们的下载速度。 2:scrapy框架的作用 少量的代码, ...
分类:移动开发   时间:2020-11-30 15:33:05    阅读次数:11
超酷!我不写一行代码,爬取GitHub上几万的Python库
菜鸟独白爬虫很有趣,很多同学都在学爬虫,其实爬虫学习有一定的成本,需要考虑静态和动态网页,有一堆的库需要掌握,复杂的需要用scrapy框架,或者用selenium爬取,甚至要考虑反爬策略。如果你不经常爬数据,偶尔用用的话,有一种神器可以非常快速的爬取,分分种上手而且效果很不错的。今天我们就来介绍一下这款神奇"WebScrapy"安装WebScrapy跟其他的第三方的数据采集器相
分类:编程语言   时间:2020-11-27 11:28:32    阅读次数:8
python运行js---execjs 使用
execjs 使用 有了selenium+Chrome Headless 加载页面为什么还要用execjs来运行js? selenium+Chrome Headless 必然是爬虫的一大利器,可是缺点依然存在, 性能问题不可忽视。 但这构不成舍弃它而不用的理由。我认为舍弃包括Chrome Headl ...
分类:编程语言   时间:2020-11-26 15:19:41    阅读次数:15
[Python]PIP提速!!!
背景 学习 Python 的话,仅掌握标准库是远不够的,有很多好用的第三方库我们也需要用到的,比如,由鼎鼎大名的 K 神开发的爬虫必不可少的 requests 库,一般都是必装的库吧。安装第三方库当然还是用 pip 命令安装最方便了。 但是,大家发现 pip install + 包名 的方式 安装第 ...
分类:编程语言   时间:2020-11-26 15:12:40    阅读次数:8
16232条   上一页 1 ... 24 25 26 27 28 ... 1624 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!