在爬取一些网页的时候，会发现网页的有些内容是通过JS动态加载的，也就是说是ajax数据，如下图。整个如果需要查看更多的文章，就需要【阅读更多】按钮，这时页面就会加载更多的文章，但是此时网页的网址是不会改变的，没有类似page这种表示页数的参数。这种加载方式就是ajax数据。这种数据通过普通的爬虫是获 ...
分类：
Web程序 时间：
2020-06-11 13:32:15
阅读次数：
67
今天终于实现了爬虫，爬取到了一定的信息 代码： # -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup import bs4 from selenium import webdriver from time impor ...
分类：
其他好文 时间：
2020-06-11 01:05:51
阅读次数：
116
1、Selenium官网：https://www.seleniumhq.org/download/WebUI自动化测试Selenium是一个用于Web应用程序测试的工具，Selenium已经成为Web自动化测试工程师的首选。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、MozillaFirefox、MozillaSuite等。这个工具的主要功
分类：
其他好文 时间：
2020-06-11 00:57:18
阅读次数：
62
1、Selenium 官网：https://www.seleniumhq.org/download/ WebUI自动化测试 Selenium是一个用于Web应用程序测试的工具，Selenium已经成为Web自动化测试工程师的首选。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持 ...
分类：
其他好文 时间：
2020-06-10 14:39:28
阅读次数：
59
#coding=utf-8 from selenium import webdriver import time def sleep(w=1): time.sleep(w) return 0 #初始化浏览器信息 driver = webdriver.Chrome() driver.get("http ...
分类：
其他好文 时间：
2020-06-09 20:37:19
阅读次数：
624
今天想学习python的selenium模块，于是准备安装，结果pip莫名其妙地出错了。报错No module named pip 查询网络后已解决。 只需要两条命令即可 python -m ensurepip python -m pip install --upgrade pip ...
分类：
其他好文 时间：
2020-06-09 19:03:16
阅读次数：
82
scrapy中间件 scrapy中间有两种：爬虫中间件，下载中间件 爬虫中间件：处于引擎和爬虫spider之间 下载中间件：处于引擎和下载器之间 主要对下载中间件进行处理 下载中间件 作用：批量拦截请求和响应 拦截请求 UA伪装：将所有的请求尽可能多的设定成不同的请求载体身份标识 request.h ...
分类：
其他好文 时间：
2020-06-09 18:34:48
阅读次数：
89
Selenium模块 作用 便捷的获取页面中动态加载的数据 便捷的模拟登录 简单使用 环境安装： pip install selenium 根据浏览器版本下载web驱动：http://npm.taobao.org/mirrors/chromedriver （谷歌） Selenium的使用流程： # ...
分类：
其他好文 时间：
2020-06-09 18:14:06
阅读次数：
69
在开始自动化时，您可能会遇到各种可能包含在自动化代码中的方法，技术，框架和工具。有时，与提供更好的灵活性或解决问题的更好方法相比，这种多功能性导致代码更加复杂。在编写自动化代码时，重要的是我们能够清楚地描述自动化测试的目标以及我们如何实现它。话虽如此，编写“干净的代码”以提供更好的可维护性和可读性很 ...
分类：
其他好文 时间：
2020-06-09 14:17:24
阅读次数：
38
selenium 概念：基于浏览器自动化的一个模块. selenium和爬虫之间的关联是什么? 便捷的获取页面中动态加载的数据 requests模块进行数据爬取:可见非可得 selenium:可见即可得 主要用于爬取动态加载的数据，直接用selenium就可以获取 注意点：selenium完全对浏览 ...
分类：
其他好文 时间：
2020-06-09 12:41:59
阅读次数：
89
