1.查看python当前版本以及安装路径 2.进入python命令终端 【Ctrl+D】即可退出终端 3.python2.7升级至python3.x 因为centos7中默认安装的是python2.7，有些环境需要依赖python2.7，所以这里只安装python3，不更改python2.7的相关配 ...
分类：
编程语言 时间：
2018-09-11 21:08:35
阅读次数：
219
通过pymysql连接数据库，并实现增删改查操作；pymysql是python3连接mysql服务器的一个库，需要安装，可以使用pip install pymysql； import pymysql #导入模块 conn = pymysql.connection(host="IP",user="用户 ...
分类：
数据库 时间：
2018-09-11 18:04:07
阅读次数：
158
Charles是一个网络抓包工具，相比Fiddler，其功能更为强大，而且跨平台支持得更好，所以这里选用它来作为主要的移动端抓包工具。 1. 相关链接 官方网站：https://www.charlesproxy.com 下载链接：https://www.charlesproxy.com/downlo ...
分类：
编程语言 时间：
2018-09-11 16:27:33
阅读次数：
182
Selenium是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些JavaScript渲染的页面来说，这种抓取方式非常有效。下面我们来看看Selenium的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub： ...
分类：
编程语言 时间：
2018-09-11 16:27:11
阅读次数：
224
MySQL是一个轻量级的关系型数据库，本节中我们来了解下它的安装方式。 1. 相关链接 官方网站：https://www.mysql.com/cn 下载地址：https://www.mysql.com/cn/downloads 中文教程：http://www.runoob.com/mysql/mys ...
分类：
数据库 时间：
2018-09-11 16:24:55
阅读次数：
267
pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。本节中，我们就来了解一下它的安装方式。 1. 相关链接 GitHub：https://github.com/gawel/pyquery PyPI：https://pypi. ...
分类：
编程语言 时间：
2018-09-11 16:24:06
阅读次数：
172
RedisDump是一个用于Redis数据导入/导出的工具，是基于Ruby实现的，所以要安装RedisDump，需要先安装Ruby。 1. 相关链接 GitHub：https://github.com/delano/redis-dump 官方文档：http://delanotes.com/redis ...
分类：
编程语言 时间：
2018-09-11 16:23:22
阅读次数：
148
之前介绍的Requests库是一个阻塞式HTTP请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。其实，这个过程比较耗费资源。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响应的处理等，那么爬取效率一定会大大提高。 aiohttp就是这 ...
分类：
编程语言 时间：
2018-09-11 16:23:15
阅读次数：
159
对于Redis来说，我们要使用redis-py库来与其交互，这里就来介绍一下它的安装方法。 1. 相关链接 GitHub：https://github.com/andymccurdy/redis-py 官方文档：https://redis-py.readthedocs.io/ 2. pip安装 这里 ...
分类：
编程语言 时间：
2018-09-11 16:22:18
阅读次数：
214
Scrapy-Redis是Scrapy的分布式扩展模块，有了它，我们就可以方便地实现Scrapy分布式爬虫的搭建。本节中，我们将介绍Scrapy-Redis的安装方式。 相关链接 GitHub：https://github.com/rmax/scrapy-redis PyPI：https://pyp ...
分类：
编程语言 时间：
2018-09-11 16:20:53
阅读次数：
162
