来源网站：http://www.pythonclub.org/python-network-application/observer-spider 学用python也有3个多月了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚 ...
分类：
编程语言 时间：
2017-08-29 19:38:39
阅读次数：
244
前言：mycat和spider其实比较相似，都是做分布式的，不过mycat比spider功能要强大，spider更简单一些环境：centos6.8，mysql5.7.19主：192.168.31.137从：192.168.31.139jdk：1.8mycat：1.6相关软件下载：mycat：链接:https://pan.baidu.com/s/1boBUoZP密码:xehgmysql：链接:ht..
分类：
系统相关 时间：
2017-08-22 21:47:00
阅读次数：
221
由于该网站为旧版网站，应该已没有人维护，所以不用绕过反爬机制，大概能达到 30万条数据/小时 的速度~ ...
分类：
其他好文 时间：
2017-08-20 15:46:01
阅读次数：
176
from selenium import webdriver from selenium.webdriver.chrome.options import Options url_seed = 'http://m.sogou.com/web/searchList.jsp?pid=sogou-mobb-... ...
分类：
其他好文 时间：
2017-08-19 14:26:04
阅读次数：
253
1.爬虫的工作原理 网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页， ...
分类：
其他好文 时间：
2017-08-16 15:31:01
阅读次数：
154
关于命令详细使用 命令的使用范围 这里的命令分为全局的命令和项目的命令，全局的命令表示可以在任何地方使用，而项目的命令只能在项目目录下使用 全局的命令有：startprojectgenspidersettingsrunspidershellfetchviewversion 项目命令有：crawlch ...
分类：
其他好文 时间：
2017-08-12 17:03:04
阅读次数：
89
Scrapy架构概述 1， 从最初自己编写的spiders，获取到start_url，并且封装成Request对象。 2，通过engine(引擎)调度给SCHEDULER(Requests管理调度器)。 3，SCHEDULER管理ENGINE传递过来的所有Requests，通过优先级，传递给ENGI ...
分类：
其他好文 时间：
2017-08-09 23:50:07
阅读次数：
227
1.数据存储到JSon：程序阅读一般都是使用更方便的Json或者cvs等待格式，继续讲解Scrapy爬虫的保存方式，也就是继续对pipelines.py文件动手脚 （1）创建pipelines2json.py文件： （2）修改Settings.py文件，将pipelines2json加入到ITEM_ ...
分类：
编程语言 时间：
2017-08-05 15:33:38
阅读次数：
278
1.项目准备：网站地址：http://quanzhou.tianqi.com/ 2.创建编辑Scrapy爬虫： scrapy startproject weather scrapy genspider HQUSpider quanzhou.tianqi.com 项目文件结构如图： 3.修改Items ...
分类：
编程语言 时间：
2017-08-04 21:27:44
阅读次数：
222
0×01 前言 前两天在百家号上看到一篇名为《反击爬虫，前端工程师的脑洞可以有多大？》的文章，文章从多方面结合实际情况列举了包括猫眼电影、美团、去哪儿等大型电商网站的反爬虫机制。的确，如文章所说，对于一张网页，我们往往希望它是结构良好，内容清晰的，这样搜索引擎才能准确地认知它；而反过来，又有一些情景 ...
分类：
Web程序 时间：
2017-07-28 09:52:07
阅读次数：
313
