1.8 爬虫框架的安装 我们直接用 requests、Selenium 等库写爬虫,如果爬取量不是太大,速度要求不高,是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的,如果我们把这些组件抽离出来,将各个功能模块化,就慢慢会形成一个框架雏形,久而久之,爬虫框架就诞生了。 利用框架 ...
分类:
其他好文 时间:
2020-07-17 13:50:09
阅读次数:
57
找解决方案,找了好久,终于找到了, 其他博客给了我思路 F12后切换到Application,然后看token是存储在localStorage还是sessionStorage 实现代码: LoginUrl,usename,password我都自己封装在cfg.py文件中了 import time f ...
分类:
其他好文 时间:
2020-07-17 11:35:46
阅读次数:
100
b站近日把登录页面的验证方式从滑块验证改为了汉字验证,我看网上也没用相关的爬虫教程,所以自己写了一个,作为b站爬虫参考。 from selenium import webdriver from selenium.webdriver.common.action_chains import Action ...
分类:
其他好文 时间:
2020-07-16 21:20:22
阅读次数:
109
2020-07-07 课 目录 一、HTML属性 二、Javascript在网页中的角色 三、JS语法 四、DOM对象 正文 一、HTML属性 1.HTML中比较重要的属性: name、value、href、src、id、class、disabled、readonly ① id:重要!!!id是唯一 ...
分类:
Web程序 时间:
2020-07-16 21:16:58
阅读次数:
118
文章首发于公众号:测试人追风 回想自动化测试的学习过程,因为发现很多人总是急于求成,不懂该如何学习。 当你是新手的时候肯定会选择加很多的群。在群里总是会遇到很多人问低级问题,写了一个selenium脚本,却执行失败,也不看报错,就直接跑到群里来问(有时候连个图都不发或发图只截图一小半,有的甚至问我和 ...
分类:
其他好文 时间:
2020-07-16 18:17:08
阅读次数:
69
BrowserMob Proxy,简称 BMP,它是一个 HTTP 代理服务,我们可以利用它截获 HTTP 请求和响应内容。 第一步:先安装 BrowserMob Proxy 的包。 pip install browsermob-proxy 第二步:下载 browsermob-proxy 的二进制文 ...
分类:
编程语言 时间:
2020-07-15 23:28:47
阅读次数:
93
详细网址:https://blog.csdn.net/langyichen/article/details/100929250 安装网址:https://selenium-python-zh.readthedocs.io/en/latest/installation.html selenium 是一 ...
分类:
编程语言 时间:
2020-07-13 21:53:35
阅读次数:
95
跨域的,其实就是 需要找到哪个域名,去添加就行 你也可以直接,去添加,添加cookie的前提,是打开浏览器, 这种形式,简单,但是就有一个问题,值是死的,变了,得维护, 上面的是,写了个登录,去取的cookie,循环赋值,每次都是新的 ...
分类:
其他好文 时间:
2020-07-13 13:57:57
阅读次数:
77
八种元素定位语法 https://www.cnblogs.com/eastonliu/p/9088301.html ''' by.py ''' class By(object): """ Set of supported locator strategies. """ ID = "id" XPATH ...
分类:
编程语言 时间:
2020-07-13 11:36:57
阅读次数:
71
理想中的 GUI 测试报告应该是由一系列按时间顺序排列的屏幕截图组成,并且这些截图上可以高亮显示所操作的元素,同时按照执行顺序配有相关操作步骤的详细描述。 开源 GUI 测试框架的测试报告实现思路 扩展 Selenium 原本的操作函数实现截图以及高亮显示操作元素的功能 Selenium 原生的 c ...
分类:
其他好文 时间:
2020-07-12 10:22:46
阅读次数:
59