0x01 常见的反爬虫这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。一般网站从三个方面反爬虫：用户请求的Heade...
分类：
其他好文 时间：
2016-01-22 21:45:36
阅读次数：
186
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：xlzd链接：http://www.zhihu.com/question/34980963/answer/60627797来源：知乎爬虫自动换User-Agent在代码实现上只需要一句就够了，并不是什么高难度的技术活。爬虫为什...
分类：
其他好文 时间：
2016-01-15 14:31:50
阅读次数：
205
一般爬虫要考虑的问题 之前尝试了request和cheerio实现的简单抓取数据用例，真的很初级，真正的爬虫且不说Google、百度等商用爬虫，即便是一个开源爬虫也要考虑很多东西，比如nodejs的开源爬虫neocrawler: 抓取网页并进行结构化解析，提取关键字后索引入库，防止网页重复抓取； 抓...
分类：
其他好文 时间：
2015-10-12 20:41:22
阅读次数：
213
本文作者简介：王夜笙，就读于郑州大学信息工程学院，感兴趣的方向为逆向工程和机器学习，长期从事数据抓取工作（长期与反爬虫技术作斗争~），涉猎较广（技艺不精……），详情请见我的个人博客~个人博客地址：http://bindog.github.io/blog/邮箱：bindog@outlook.com感谢...
分类：
其他好文 时间：
2015-06-10 21:00:44
阅读次数：
610
58爬虫了百姓，赶集和58互爬，最后各种信息相同，都是爬虫后的数据库调用，潜规则啊，几家独大还暗中各种攻击，赶驴网的幽默事例我不想多评价。这个时代是砸.钱*养.钱的时代，各种姚晨杨幂葛优，各种地铁公车广告，各种卫视广告，铺天盖地~~~
来谈php爬虫抓取信息~~
php爬虫首推Curl函数了，先来认识下它。
0x01.curl扩展的安装：
1.确保php子文件夹ext里面有php_...
分类：
Web程序 时间：
2015-05-31 09:34:56
阅读次数：
168
在编写微博爬虫的过程中，免不了要进行模拟登录，因为新浪微博不登陆只能访问少量的微博信息。 然而，由于新浪微博的反爬虫功能在不断更新，例如改变了密码的加密算法（RSA），以前的一些模拟登陆方式已经不适用了。所以一开始试了好几种方法，均不能成功。后来受http://www.jb51.net/art...
分类：
编程语言 时间：
2015-05-04 23:40:17
阅读次数：
3201
使用同一IP长期爬取网站容易被网站的反爬虫机制封杀IP。爬虫往往使用多代理的方法来应对反爬虫机制。
本教程利用WebCollector爬取大众点评，展示WebCollector的多代理切换机制，相关内容都在代码注释中。
教程中仅仅将网页保存在download文件夹中，如果需要抽取，请参考WebCollector其他教程。...
分类：
Web程序 时间：
2015-04-26 21:16:47
阅读次数：
4480
原文链接：http://yangshangchuan.iteye.com/blog/2030741当我们配置Nutch抓取 http://yangshangchuan.iteye.com的时候，抓取的所有页面内容均为：您的访问请求被拒绝 ...... 这是最简单的反爬虫策略（该策略简单地读取HTTP...
分类：
其他好文 时间：
2015-04-21 12:59:24
阅读次数：
146
通过curl命令抓取网页内容，关键点如下：
1.curl要模拟浏览器，最好是有个代理，因为很多站点都会搞个反爬虫什么的。
2.我的需求很简单，就是在国家外汇管理局上下载各种货币对美元的汇率。
http://www.safe.gov.cn/wps/portal/sy/tjsj_dmzsl
3.主要命令：curl，grep，awk，xls2txt，msql(LOAD DATA )。
cu...
分类：
Web程序 时间：
2015-04-15 19:42:27
阅读次数：
212
本文解决multiple definition of `XX'的错误。【出于反爬虫的目的，你不是在http://blog.csdn.net/zhanh1218上看到的，肯定不是最新最全的。】关于头文件的定义中，请一定加上下面代码（此为头文件保护符）：#ifndef PERSON_H_#define ...
分类：
编程语言 时间：
2015-02-04 14:23:18
阅读次数：
201
