爬虫学习 Pyppeteer pyppeteer模块的基本使用 引言 Selenium 在被使用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如 Chrome、Firefox 等等，然后还要到官方网站去下载对应的驱动，最重要的还需要安装对应的 Python Selenium 库，确实是 ...
分类：
其他好文 时间：
2020-01-10 22:39:04
阅读次数：
125
爬虫学习 15.scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的 ...
分类：
其他好文 时间：
2020-01-10 22:18:58
阅读次数：
81
谷歌无头浏览器 import time from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.support import expect ...
分类：
其他好文 时间：
2020-01-10 20:35:21
阅读次数：
75
规避网站监测 ? 现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的window.navigator.webdriver的值为undefined。而使用selenium访问则该值为true。那么如何解决这个问题呢？ ? 只需要设置 的启动参数即可解决问题。在 ...
分类：
Web程序 时间：
2020-01-10 20:17:20
阅读次数：
290
等待机制 ? 因为你要查找的标签由于网速等原因迟迟没有加载出来，你就直接获取这个标签，很明显是报错，现有的简单粗暴的解决办法就是 ，睡几秒，也就是设置线程等待，等这个标签加载出来之后，再去使用。这么着虽然简单，但是相对死板，因为我们不知道这个标签什么时候加载出来，就大概写死睡个几秒，这可以，但如果这 ...
分类：
其他好文 时间：
2020-01-10 20:14:10
阅读次数：
103
``` import time from selenium import webdriver from aip import AipOcr def initial(): """ 初始化连接 """ APP_ID = '16611607' API_KEY = 'wAIXfXOUS8ztLa4FrK3r... ...
selenium,webDriver安装 https://sites.google.com/a/chromium.org/chromedriver/downloads tips：安装WebDriver的时候，要看自己的driver是什么版本然后下载对应的驱动，如图 但是fsdfsd d ...
分类：
编程语言 时间：
2020-01-10 20:07:39
阅读次数：
59
一、selenium概念 1、用来完成浏览器自动化的相关操作 2、使用程序编写一系列的键盘、鼠标的相关操作(让浏览器来完成), 当我们执行代码时，就会触发一系列的事件 二、selenium在爬虫中的作用 1、可以获取动态加载的数据 三、selenium安装 1、pip install seleniu ...
分类：
其他好文 时间：
2020-01-10 15:58:45
阅读次数：
123
兄弟定位和子级定位： 子级定位代码如下： 详细如下： ...
分类：
其他好文 时间：
2020-01-10 15:56:09
阅读次数：
73
Selenium自动化测试框架（四）之css元素定位 一、css元素定位 CSS可以通过元素的id、class、标签（input）这三个常规属性直接定位到 id \ class . 1、通过id进行定位 2、通过class进行定位 3、子类定位“ ”：通过先定位父类（self）,再定位self下的子 ...
分类：
编程语言 时间：
2020-01-10 15:53:31
阅读次数：
129
