1 #首先我们可以先获取要下载图片的整个页面信息 2 #coding=utf-8 3 #Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据 4 import urllib 5 import re 6 #首先，我们定义了一个getHtml()函数:....
分类：
编程语言 时间：
2015-01-26 22:25:10
阅读次数：
336
看了一下设计模式中的责任链设计模式，主要实现类似拦截器的功能，记下来方便自己以后复习。
1、应用场景
假设要处理爬虫趴下来的内容，你就需要发这些内容进行去噪，例如：取格式化html标签，去页面脚本，去敏感信息等等，如果将这些过滤内容都写在一个方法中，那么势必造成代码耦合性强，如果以后不断的添加内容，将造成很大的维护成本。
所以，我们需要把变化的内容抽取出来定义为接...
分类：
其他好文 时间：
2015-01-26 19:24:08
阅读次数：
212
之前的数据抓取都是用的八爪鱼软件，老大突发奇想要我自己搞个爬虫来抓取数据，网上找找貌似apache的nutch比较合适，于是就开始安装这啥nutch。 对于一个linux零基础的人来说，还要先学学linux，大致了解了ssh连接工具怎么用后就开始正事了。了解到从nutch2开始，源码就必须要自己编....
分类：
数据库 时间：
2015-01-26 19:00:26
阅读次数：
1393
本文禁止任何爬虫爬取!来源：http://www.cnblogs.com/sciencefans/ 一直都持有一个观点，思考是最佳的学习途径（当然信息的获取是必不可少的），就像神经网络里，看书就是训练set的训练，思考则是最重要的求梯度BP的过程。2014年是一个神奇的一年，在这一年中发生了很多事情...
分类：
其他好文 时间：
2015-01-26 06:29:51
阅读次数：
284
需求驱动学习的动力。因为我们单位上不了外网所以读新闻是那么的痛苦，试着自己抓取网页保存下来，然后离线阅读。今天抓取的是cnbeta科技新闻，抓取地址是http://m.cnbeta.com/wap/index.htm?page=1,咱们需要抓取的是前5页就行了。代码如下：#!/usr/bin/pyt...
分类：
编程语言 时间：
2015-01-25 23:54:46
阅读次数：
229
自己从事的是汽车行业，所以首先要做的第一个程序是抓取搜狐汽车的销量数据库（http://db.auto.sohu.com/cxdata/）；数据库提供了07年至今的汽车月销量，每个车型对应一个xml数据，比如速腾的销量：http://db.auto.sohu.com/xml/sales/model/...
分类：
数据库 时间：
2015-01-25 22:25:22
阅读次数：
218
Scrapy介绍
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加...
分类：
其他好文 时间：
2015-01-25 18:16:58
阅读次数：
212
参照网络和个人总结系统配置：ubuntu12.04 jdk:1.6 eclipse:3.4 首先你的系统必须安装好pyton 。也ubuntu系统自带的刚开始以为是jdk安装有问题，卸载重装，后 来在eclipse中安装pydev插件，安装完成后在window->preference 中找不到PyD...
分类：
编程语言 时间：
2015-01-25 00:09:22
阅读次数：
641
使用 HttpClient 和 HtmlParser 实现简易爬虫_Linux ！ 这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParse...
分类：
Web程序 时间：
2015-01-23 21:29:45
阅读次数：
306
1）Select Crawl Scope：Crawl Scope 用于配置当前应该在什么范围内抓取网页链接。例如选择 BroadScope 则表示当前的抓取范围不受限制，选择 HostScope 则表示抓取的范围在当前的 Host 范围内。在这里我们选择 org.archive.crawler......
分类：
其他好文 时间：
2015-01-22 23:12:39
阅读次数：
210
