如何通过jsoup网络爬虫工具爬取网页数据,并通过jxl工具导出到excel...
分类：
Web程序 时间：
2015-02-11 14:37:34
阅读次数：
274
平时没事喜欢看看freebuf的文章，今天在看文章的时候，无线网总是时断时续，于是自己心血来潮就动手写了这个网络爬虫，将页面保存下来方便查看 ? 先分析网站内容，红色部分即是网站文章内容div，可以看到，每一页...
分类：
编程语言 时间：
2015-02-11 09:27:54
阅读次数：
264
好文 markhttp://www.52nlp.cn/python-%E7%BD%91%E9%A1%B5%E7%88%AC%E8%99%AB-%E6%96%87%E6%9C%AC%E5%A4%84%E7%90%86-%E7%A7%91%E5%AD%A6%E8%AE%A1%E7%AE%97-%E6%9...
分类：
编程语言 时间：
2015-02-10 18:26:27
阅读次数：
161
本次安装使用的系统环境是windows xp。以下给出具体步骤。我想如果照做一定能够成功哦。
1.安装python2.6.这里选择的是python2.6,为什么选择这个版本，
首先，scrapy官网上明确写出：requirements:
Python 2.5, 2.6, 2.7 (3.x is not yet supported), 即目前只支持python2.5,2.6,2...
分类：
编程语言 时间：
2015-02-10 11:20:33
阅读次数：
591
本文转载至http://www.cnblogs.com/wawlian/archive/2012/06/18/2554072.html四、更新策略 互联网是实时变化的，具有很强的动态性。网页更新策略主要是决定何时更新之前已经下载过的页面。常见的更新策略又以下三种： 1.历史参考策略 顾名思义，...
分类：
其他好文 时间：
2015-02-08 00:23:58
阅读次数：
141
爬虫：scrapy,beautifulsoup自然语言处理：nltk,Pattern(Google,Twitter,andWikipediaAPIs,awebcrawler,aHTMLDOMparser),结巴分词科学计算：NumPy,SciPy,matplotlib机器学习、数据挖掘：scikit-learn,pandas,MDP(neuralnetworks),PyBrain(neuralnetworks),Theano(GPU,deeplearn..
分类：
编程语言 时间：
2015-02-07 19:02:28
阅读次数：
185
今天发现服务器上的sidekiq 线程全忙。队列里任务积累了好多。 sidekiq里的任务基本都是爬虫脚本，都需要请求外部网站。但是有些网站的响应时间或者读取时间太久，一直一直卡在那里。使得后面的任务不能执行。 所以我们就应该控制请求外部链接的读取时间，避免线程卡住。 在任务里请求外部网站...
分类：
其他好文 时间：
2015-02-07 17:26:09
阅读次数：
168
将以可用性、可靠性、高效性、可扩展性为基本准则重新设计爬虫系统...
分类：
其他好文 时间：
2015-02-06 14:59:00
阅读次数：
358
接触Python也好长时间了，一直没什么机会使用，没有机会那就自己创造机会！呐，就先从爬虫开始吧，抓点美女图片下来。废话不多说了，讲讲我是怎么做的。1. 分析网站想要下载图片，只要知道图片的地址就可以了，So，现在的问题是如何找到这些图片的地址。首先，直接访问http://huaban.com/fa...
分类：
其他好文 时间：
2015-02-04 18:22:53
阅读次数：
383
本文解决multiple definition of `XX'的错误。【出于反爬虫的目的，你不是在http://blog.csdn.net/zhanh1218上看到的，肯定不是最新最全的。】关于头文件的定义中，请一定加上下面代码（此为头文件保护符）：#ifndef PERSON_H_#define ...
分类：
编程语言 时间：
2015-02-04 14:23:18
阅读次数：
201
