开始爬取网页：(2)写入源文件的爬取为了使代码易于修改，更清晰高效的爬取网页，我们将代码写入源文件进行爬取。主要分为以下几个步骤：一.使用scrapy创建爬虫框架：二.修改并编写源代码，确定我们要爬取的网页及内容三.开始爬取并存入文件（数据库）注：为了避免冗长的叙述，更直观地理解，这里先讲具体的操作...
分类：
其他好文 时间：
2015-05-01 17:21:27
阅读次数：
147
这两天在写一个java多线程的爬虫，以广度优先爬取网页，设置两个缓存：
一个保存已经访问过的URL：vistedUrls
一个保存没有访问过的URL：unVistedUrls
需要爬取的数据量不大，对URL压缩后，可以把这两个数据结构都放入内存，vistedUrls很显然用HashSet实现，因为已经访问的URL只会添加，不会删除和修改，使用HashSet可以高效...
分类：
编程语言 时间：
2015-04-28 18:35:37
阅读次数：
244
Python 的Beautiful Soup包可以方便的解析html 序言 之前用python爬取网页的时候，一直用的是regex或者自带的库sgmllib里的SGMLParser。但是遇到复杂一点的情况时，SGMLParser往往就不那么给力了！（哈，难道...
分类：
编程语言 时间：
2015-04-15 13:45:27
阅读次数：
210
文章主要讲述如何通过Python爬取维基百科的消息盒(Infobox)，主要是通过正则表达式和urllib实现；后面的文章可能会讲述通过BeautifulSoup实现爬取网页知识。由于这方面的文章还是较少，希望提供一些思想和方法对大家有所帮助。
一.维基百科和Infobox
Infobox究竟是个什么东西呢？维基百科作为目前规模最大和增长最快的开放式的在线百...同时讲述了正则表达式等相关知识。...
分类：
编程语言 时间：
2015-03-18 06:28:14
阅读次数：
219
之前用python爬取网页的时候，一直用的是regex或者自带的库sgmllib里的SGMLParser。但是遇到复杂一点的情况时，SGMLParser往往就不那么给力了！（哈，难道说我 too native了？毕竟beautifulSoup是继承sgmlparser的么~）所以，我寻寻觅觅寻寻觅觅...
分类：
编程语言 时间：
2015-03-18 06:22:14
阅读次数：
257
如何通过jsoup网络爬虫工具爬取网页数据,并通过jxl工具导出到excel...
分类：
Web程序 时间：
2015-02-11 14:37:34
阅读次数：
274
小说网站用的程序都是千篇一律的，jieqi + guanguang，无聊时间学习python+django，也做了一个小说网站，下面说一说做这个网站一些过程，制作这种采集站，最要紧的是要有一个好的采集器，在python的世界里面，爬取网页真是小菜一碟，urllib urllib2 requests ...
分类：
数据库 时间：
2015-01-12 14:16:15
阅读次数：
462
1.爬虫的介绍 图1-1? 爬虫（spider) ? ? ?? ? ? ? 网络爬虫(web spider)是一个自动的通过网络抓取互联网上的网页的程序，在当今互联网中得到越来越广泛的使用。这种技术一般用来爬取网页中链接，资源等，...
分类：
其他好文 时间：
2015-01-08 13:32:56
阅读次数：
247
一：起因
（1）最近用于任务需要一直在爬取网页HTML的内容，与类似于爬虫的HtmlParser接触的比较多，爬取无非就是过滤自己想要的信息，因此Filter是核心，当然String类中的matches（regex）函数和contains(str)函数也是非常有用的
（2）经常和爬虫打交道就会分析各式各样的网站设计以及布局：用的设计的非常有规律，如QQ空间，微博信息等爬取非常简单（当时要想翻页...
分类：
Web程序 时间：
2014-12-25 18:28:39
阅读次数：
325
序言 之前用python爬取网页的时候，一直用的是regex或者自带的库sgmllib里的SGMLParser。但是遇到复杂一点的情况时，SGMLParser往往就不那么给力了！（哈，难道说我 too native了？毕竟beautifulSoup是继承sgmlparser的么~）所以，我寻寻觅觅....
分类：
编程语言 时间：
2014-12-15 16:46:54
阅读次数：
263
