1.PySpider基本功能 提供方便易用的WebUI系统，可视化地编写和调试爬虫。 提供爬取进度监控、 爬取结果查看、爬虫项目管理等功能。 支持多种后端数据库，如MySQL、 MongoDB、 Redis、 SQLite、 Elasticsearch、 PostgreSQL。 支持多种消息队列，如 ...
分类：
编程语言 时间：
2019-06-29 22:02:01
阅读次数：
154
一、为什么要抓取数据 二、如何抓取数据 参考链接https://www.cnblogs.com/zhaopanpan/p/9319822.html https://www.cnblogs.com/zhaopanpan/ ...
分类：
其他好文 时间：
2019-06-29 12:40:04
阅读次数：
94
Python时间戳的一些使用 为什么写下这篇文档? 由于我本身是做Python爬虫的,在爬取网站的过程当中,会遇到形形色色的验证码,目前对于自己而言,可能简单的验证码可以进行自己识别 发现大多数的网站的验证码url地址是加上了一个 时间戳的 由于我本身是做Python爬虫的,在爬取网站的过程当中,会 ...
分类：
编程语言 时间：
2019-06-28 14:56:49
阅读次数：
122
六、fetch 但你如果按常规的方法却爬不到，为神马？因为它使用了异步传输！因此但你发现获取不到内容的时候，你就要有所警觉，感觉用fetch命令来吧它的html代码拿下来看看，到底有木有我们想要的那个标签节点，如果木有的话，你就要明白我们需要使用js渲染之类的技术！用法很简单： 就这样，如果你要把它 ...
分类：
编程语言 时间：
2019-06-27 23:06:23
阅读次数：
203
Selenium 与 PhantomJS Selenium Selenium 是一个web的自动化测试工具，最初是为了网站自动化测试而开发的，Selenium可以直接运行在浏览器上，它支持所有主流的（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至 ...
分类：
编程语言 时间：
2019-06-27 23:01:40
阅读次数：
161
""" scrapy初始Url的两种写法， 一种是常量start_urls，并且需要定义一个方法parse（） 另一种是直接定义一个方法：star_requests() """ import scrapy class simpleUrl(scrapy.Spider): name = "simpleU ...
分类：
编程语言 时间：
2019-06-27 21:53:37
阅读次数：
151
Python 爬虫从入门到进阶之路（五）Python opener 应用中的 ProxyHandler 处理器（代理设置）。 ...
分类：
编程语言 时间：
2019-06-26 10:54:35
阅读次数：
266
一、Ajax数据爬取 1.Ajax介绍 Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。 它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。发送Ajax ...
分类：
编程语言 时间：
2019-06-26 09:30:12
阅读次数：
213
源码分享： 可以对着代码练习，学习编程一定要多动手练习。 代码运行效果截图 学习python、python爬虫过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun：前面是934，中间109，后面是170，与你分享Python企业当下人才需求及怎么从零基础学习Python，和学习什么内容 ...
分类：
编程语言 时间：
2019-06-23 14:03:37
阅读次数：
128
