你的网站内容很有价值，希望被google，百度等正规搜索引擎爬虫收录，却不想让那些无节操的山寨爬虫把你的数据扒走坐享其成。本文将探讨如何在网站中加入优雅的反爬虫策略。【思路】反爬虫策略要考虑以下几点：能被google、百度等正规搜索引擎爬虫抓取，不限流量和并发数；阻止山寨爬虫的抓取；反爬虫策略应该是...
分类：
Web程序 时间：
2014-09-25 21:33:37
阅读次数：
327
PHP 利用 Curl Functions 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，受限于php语言本身不支持多线程，所以开发爬虫程序效率并不高，这时候往往需 要借助Curl Multi Functions 它可以实现并发多线程的访问多个url地址。既然 Curl Mu...
分类：
编程语言 时间：
2014-09-25 19:37:17
阅读次数：
150
环境：python2.7以360为例，用http截取工具获得url，具体的获取方法根据要求实现功能而定。例如：我要爬取她的关键词，就是截取以...word=结尾的一串url。没有加入浏览器信息，系统版本，事实证明360对爬虫很友好呢=、=。1、关于正则表达式的处理，根据实际情况自己写，没有特别统一的...
分类：
编程语言 时间：
2014-09-25 10:38:58
阅读次数：
388
在使用python抓取网页图片的时候，偶尔会遇到403错误。这可能是因为服务器禁止了爬虫。这种情况下如果想继续爬取图片的时候，就需要在请求中加入header信息，伪装成浏览器。如果你使用的是python3.4版本，那么如果你想在网上找到在请求中加入header的方法，估计要费些周折。经过一番实验，确...
分类：
编程语言 时间：
2014-09-24 18:32:07
阅读次数：
378
通过搜集和总结，整理出当前比较常用的搜索引擎爬虫IP，仅供大家参考：百度爬虫IP列表220.181.108.100180.149.130.*220.181.51.*123.125.71.*180.76.5.66google爬虫列表66.249.64.5067.221.235.*66.249.68.*66.249.67.*203.208.60.*66.249.72.*66.249.71.*宜搜183.60.213.6183...
分类：
其他好文 时间：
2014-09-24 14:06:47
阅读次数：
257
#!/usr/bin/env python#-*- coding:utf8 -*-import sysreload(sys)sys.setdefaultencoding('gbk')import urllib,urllib2import refrom bs4 import BeautifulSoup...
分类：
其他好文 时间：
2014-09-23 13:35:14
阅读次数：
194
前面讲述了"专题一.函数的基础知识",而这篇文章讲述的Python的条件语句和循环语句的基础知识.主要内容包括:
1.条件语句:包括单分支、双分支和多分支语句,if-elif-else
2.循环语句:while的使用及简单网络刷博器爬虫
3.循环语句:for的使用及遍历列表、元组、文件和字符串
基础知识仅供大家学习...
分类：
编程语言 时间：
2014-09-22 21:58:33
阅读次数：
348
了解xml ：
解析之前首先对xml 做个了解。
来自维基百科的解释：
XML设计用来传送及携带数据信息，不用来表现或展示数据，HTML语言则用来表现数据，所以XML用途的焦点是它说明数据是什么，以及携带数据信息。
如果你已经了解xml，可以跳过这一部分。
xml是一种描述层次结构化数...
分类：
编程语言 时间：
2014-09-22 21:43:53
阅读次数：
347
刚开始一看这个简单，然后就稀里哗啦的敲起了代码（在这之前使用过Hadoop平台的分布式爬虫框架Nutch，使用起来是很方便，但是最后因为速度的原因放弃了，但生成的统计信息在后来的抓取中使用到了），很快holder.html和finance.html页面成功下载完成，然后解析完holder.html页面之后再解析finance.html，然后很沮丧的发现在这个页面中我需要的数据并没有在html源码中，再去浏览器查看源码果然是这样的，在源码中确实没有我需要的数据，看来不是我程序写错了，接下来让人身心疲惫的事情来...
分类：
编程语言 时间：
2014-09-22 20:02:53
阅读次数：
301
写php爬虫可能最大的问题就是php脚本执行时间的问题了，对于这个问题，我找到了两种解决方法。 第一种通过代码set_time_limit(0)或者ini_set("max_execution_time", "1800");来执行。 对于技术的追求当然不止如此。 防止因客户端断开连接终止脚...
分类：
Web程序 时间：
2014-09-22 18:56:03
阅读次数：
209
