在使用python抓取网页图片的时候，偶尔会遇到403错误。这可能是因为服务器禁止了爬虫。这种情况下如果想继续爬取图片的时候，就需要在请求中加入header信息，伪装成浏览器。如果你使用的是python3.4版本，那么如果你想在网上找到在请求中加入header的方法，估计要费些周折。经过一番实验，确...
分类：
编程语言 时间：
2014-09-24 18:32:07
阅读次数：
378
通过搜集和总结，整理出当前比较常用的搜索引擎爬虫IP，仅供大家参考：百度爬虫IP列表220.181.108.100180.149.130.*220.181.51.*123.125.71.*180.76.5.66google爬虫列表66.249.64.5067.221.235.*66.249.68.*66.249.67.*203.208.60.*66.249.72.*66.249.71.*宜搜183.60.213.6183...
分类：
其他好文 时间：
2014-09-24 14:06:47
阅读次数：
257
#!/usr/bin/env python#-*- coding:utf8 -*-import sysreload(sys)sys.setdefaultencoding('gbk')import urllib,urllib2import refrom bs4 import BeautifulSoup...
分类：
其他好文 时间：
2014-09-23 13:35:14
阅读次数：
194
前面讲述了"专题一.函数的基础知识",而这篇文章讲述的Python的条件语句和循环语句的基础知识.主要内容包括:
1.条件语句:包括单分支、双分支和多分支语句,if-elif-else
2.循环语句:while的使用及简单网络刷博器爬虫
3.循环语句:for的使用及遍历列表、元组、文件和字符串
基础知识仅供大家学习...
分类：
编程语言 时间：
2014-09-22 21:58:33
阅读次数：
348
了解xml ：
解析之前首先对xml 做个了解。
来自维基百科的解释：
XML设计用来传送及携带数据信息，不用来表现或展示数据，HTML语言则用来表现数据，所以XML用途的焦点是它说明数据是什么，以及携带数据信息。
如果你已经了解xml，可以跳过这一部分。
xml是一种描述层次结构化数...
分类：
编程语言 时间：
2014-09-22 21:43:53
阅读次数：
347
今天是2014-09-22，是2014年的最后100天，明天是秋分，这几天确实感觉到秋天来了，早上路上落叶飘零。算下日子，我的宝宝刚好还有2个月就出生了，11-22的预产期不知道小家伙会不会准时来到，刚好那天是十月初一我的生日24周岁，缘分啊！ 从12年开始基本上没写过文章了，技术也停滞不前，...
分类：
其他好文 时间：
2014-09-22 20:43:53
阅读次数：
245
刚开始一看这个简单，然后就稀里哗啦的敲起了代码（在这之前使用过Hadoop平台的分布式爬虫框架Nutch，使用起来是很方便，但是最后因为速度的原因放弃了，但生成的统计信息在后来的抓取中使用到了），很快holder.html和finance.html页面成功下载完成，然后解析完holder.html页面之后再解析finance.html，然后很沮丧的发现在这个页面中我需要的数据并没有在html源码中，再去浏览器查看源码果然是这样的，在源码中确实没有我需要的数据，看来不是我程序写错了，接下来让人身心疲惫的事情来...
分类：
编程语言 时间：
2014-09-22 20:02:53
阅读次数：
301
写php爬虫可能最大的问题就是php脚本执行时间的问题了，对于这个问题，我找到了两种解决方法。 第一种通过代码set_time_limit(0)或者ini_set("max_execution_time", "1800");来执行。 对于技术的追求当然不止如此。 防止因客户端断开连接终止脚...
分类：
Web程序 时间：
2014-09-22 18:56:03
阅读次数：
209
HTTP请求415错误 – 不支持的媒体类型(Unsupported media type)通常有以下情况：1：检查你的 http 请求头信息，比如 因为 User-Agent 被服务器设置 拒绝请求了； 比如你写的的爬虫，就很有可能因为没有伪装成浏览器，被拒绝请求 user-agent 详情2.....
分类：
其他好文 时间：
2014-09-22 18:06:22
阅读次数：
385
很多企业要求利用爬虫去爬取商品信息，但是他们大多数并没有选择nutch、crawler4j这样的爬虫框架，而是自己重新开发一套爬虫。其实nutch、crawler4j这种基于广度遍历的框架是完全可以完成商品爬取这种业务的，只需要通过简单的转换既可。...
分类：
编程语言 时间：
2014-09-22 15:47:02
阅读次数：
4678
