码迷,mamicode.com
首页 >  
搜索关键字:selenium 爬虫    ( 16232个结果
selenium.webdriver 模拟自动化抓取网页数据
from bs4 import BeautifulSoup import bs4, csv import time from selenium import webdriver from selenium.common.exceptions import TimeoutException from ...
分类:Web程序   时间:2020-10-10 17:43:05    阅读次数:26
python爬虫六
其实这次的内容我是想放在上一篇的博文中的,但是上次犯懒了,就放在这里了奥。 基于mysql持久化操作: 将爬取数据写入文件这种情况还是少见的,因为文件无论是内存占用还是读写速度都存在一定的瑕疵,所以我们更多的是操作数据库。因为items对象已经准备好了所以我们只需要进行pipeline管道更改就可以 ...
分类:编程语言   时间:2020-10-10 17:35:46    阅读次数:25
selenium的po模式
引子: 最近面试被问到了UI自动化,好久没做了,今天回来复习下,发现目前流行一种po模式,整体来说非常像django的MTV模式,有的分2层有的分3层,根据自己项目的需要都是可以的。 思路: 1 将selenium各种常用的元素定位方法以及对元素的操作2次封装,组成公共组件库,base_page 2 ...
分类:其他好文   时间:2020-10-10 17:35:22    阅读次数:20
一篇文章教会你使用Python网络爬虫下载酷狗音乐
【一、项目背景】现在的听歌软件动不动就是各种付费,要下载软件才能听,当你下载了之后,你会惊奇的发现这首歌还收费,这就让一向喜欢白嫖的小编感到很伤心了。于是,小编冥思苦想,终于让我发现了其中的奥秘,一起来看看吧。【二、项目准备】1、编辑器:SublimeText32、软件:360浏览器【三、项目目标】下载我们喜欢的音乐。【四、项目实现】1、打开酷狗音乐官网360浏览器打开酷狗音乐官网:可以看到十分清
分类:编程语言   时间:2020-10-10 17:23:03    阅读次数:28
pytest简介
pytest是一个非常成熟的全功能的python测试框架,主要特点有以下几点: 简单灵活,容易上手,文档丰富; 支持参数化,可以更细力度地控制需要测试的测试用例 能够支持简单的单元测试和复杂的功能测试,还可以用来做selenium/appnium等自动化测试,接口自动化测试(pytest+reque ...
分类:其他好文   时间:2020-10-07 21:31:03    阅读次数:35
ASP.NET Core 中的 User Agent 识别及搜索引擎爬虫鉴定方法
User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。 百度百科 在 ASP.NET Core 中,可以通过以下代码在 Action 中获取到一个 HTTP 请求的 U ...
分类:Web程序   时间:2020-10-07 20:45:38    阅读次数:38
python+selenium :环境配置
1、下载python 3.0版本以上 直接搜索python https://www.python.org/getit/ 2、安装 pycharm 方便编写代码,python自带idle的编辑器,建议使用pycharm 比较方便。 3、安装谷歌浏览器 4、下载对应的谷歌版本的selenium 5、将c ...
分类:编程语言   时间:2020-10-07 20:37:13    阅读次数:31
自动化测试-设计模式-介绍
参考:https://www.cnblogs.com/poloyy/p/12633726.html 1 关键字驱动 简单而言,就是将Selenium常用功能进行二次封装 譬如:把查找元素、点击、输入等原生方法进行封装 特点:可以让不懂代码的测试人员也能做自动化测试,彻底地实现测试步骤、测试数据和程序 ...
分类:其他好文   时间:2020-10-06 20:52:37    阅读次数:27
教你如何使用Python爬虫爬取美团美食数据!外卖小专家的报到了!
1.分析美团美食网页的url参数构成 1)搜索要点 美团美食,地址:北京,搜索关键词:火锅 2)爬取的url https://bj.meituan.com/s/%E7%81%AB%E9%94%85/ 3)说明 url会有自动编码中文功能。所以火锅二字指的就是这一串我们不认识的代码%E7%81%AB% ...
分类:编程语言   时间:2020-10-05 22:19:59    阅读次数:57
Python爬虫实战, QQ空间自动点赞
QQ空间自动点赞 前景提要 目标确定 分析介绍 登陆获取cookie 寻找XML 寻找可变参数 获取第一个空间动态 寻找点赞所需的URL 寻找可变参数 功能提升到秒赞 全部代码 最后还是希望你们能给我点一波小小的关注。 奉上自己诚挚的爱心💖 很多人学习python,不知道从何学起。很多人学习pyt ...
分类:编程语言   时间:2020-10-05 22:14:18    阅读次数:40
16232条   上一页 1 ... 31 32 33 34 35 ... 1624 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!