之前介绍的Requests库是一个阻塞式HTTP请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。其实，这个过程比较耗费资源。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响应的处理等，那么爬取效率一定会大大提高。 aiohttp就是这 ...
分类：
编程语言 时间：
2018-09-11 16:23:15
阅读次数：
159
对于Redis来说，我们要使用redis-py库来与其交互，这里就来介绍一下它的安装方法。 1. 相关链接 GitHub：https://github.com/andymccurdy/redis-py 官方文档：https://redis-py.readthedocs.io/ 2. pip安装 这里 ...
分类：
编程语言 时间：
2018-09-11 16:22:18
阅读次数：
214
Scrapy-Redis是Scrapy的分布式扩展模块，有了它，我们就可以方便地实现Scrapy分布式爬虫的搭建。本节中，我们将介绍Scrapy-Redis的安装方式。 相关链接 GitHub：https://github.com/rmax/scrapy-redis PyPI：https://pyp ...
分类：
编程语言 时间：
2018-09-11 16:20:53
阅读次数：
162
Redis是一个基于内存的高效的非关系型数据库，本节中我们来了解一下它在各个平台的安装过程。 1. 相关链接 官方网站：https://redis.io 官方文档：https://redis.io/documentation 中文官网：http://www.redis.cn GitHub：https ...
分类：
编程语言 时间：
2018-09-11 16:19:47
阅读次数：
259
Beautiful Soup是Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式，本节就来了解下它的安装方式。 1. 相关链接 官方文档：https://www.crummy.com/software/BeautifulSoup/bs ...
分类：
编程语言 时间：
2018-09-11 16:18:40
阅读次数：
183
前面我们成功安装好了Selenium库，但是它是一个自动化测试工具，需要浏览器来配合使用，本节中我们就介绍一下Chrome浏览器及ChromeDriver驱动的配置。 首先，下载Chrome浏览器，方法有很多，在此不再赘述。 随后安装ChromeDriver。因为只有安装ChromeDriver，才 ...
分类：
编程语言 时间：
2018-09-11 16:18:23
阅读次数：
179
Appium是移动端的自动化测试工具，类似于前面所说的Selenium，利用它可以驱动Android、iOS等设备完成自动化测试，比如模拟点击、滑动、输入等操作，其官方网站为：http://appium.io/。本节中，我们就来了解一下Appium的安装方式。 1. 相关链接 GitHub：http ...
分类：
移动开发 时间：
2018-09-11 16:17:23
阅读次数：
194
Flask是一个轻量级的Web服务程序，它简单、易用、灵活，这里主要用来做一些API服务。 1. 相关链接 GitHub：https://github.com/pallets/flask 官方文档：http://flask.pocoo.org 中文文档：http://docs.jinkan.org/ ...
分类：
编程语言 时间：
2018-09-11 16:16:36
阅读次数：
189
Scrapy是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台环境下，它所依赖的库也各不相同，所以在安装之前，最好确保把一些基本库安装好。本节就来介绍Scrapy在不同平台的安装方法。 1. 相关链接 官 ...
分类：
编程语言 时间：
2018-09-11 16:16:09
阅读次数：
254
PhantomJS是一个无界面的、可脚本编程的WebKit浏览器引擎，它原生支持多种Web标准：DOM操作、CSS选择器、JSON、Canvas以及SVG。 Selenium支持PhantomJS，这样在运行的时候就不会再弹出一个浏览器了。而且PhantomJS的运行效率也很高，还支持各种参数配置， ...
分类：
编程语言 时间：
2018-09-11 16:15:19
阅读次数：
174
