webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。以下是爬取oschina博客的一段代码：?12Spider.create(newSimplePageProcessor("http://my.oschina.net/","http://m...
分类：
Web程序 时间：
2015-08-11 07:09:14
阅读次数：
360
JAVA爬虫 WebCollector爬虫简介： WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。 爬虫内核：WebCollector 致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核...
分类：
编程语言 时间：
2015-08-11 07:07:41
阅读次数：
1484
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy = Scrach+Python，Scrach这个单词是抓取的意...
分类：
其他好文 时间：
2015-08-07 07:02:47
阅读次数：
175
一，我是如何使用Python抓取网页的我知道Python有一个爬虫框架scrapy，但是目前还没有学习，并且也没有什么很棘手的的问题需要去使用一个爬虫框架，所以我就用Python自带的urllib，将目标网页爬下来，然后用正则过滤出自己需要的内容。二，效率问题上面的方法简单，真的是上手即用，但是问题是效率问题，如果一个网页一个网页的抓，显然带宽无法达到最高，浪费了大部分带宽，这时候大部分人都会想到，...
分类：
编程语言 时间：
2015-07-30 00:46:17
阅读次数：
253
我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline...
分类：
其他好文 时间：
2015-07-30 00:25:03
阅读次数：
160
一.简介：https://github.com/CrawlScript/WebCollector/blob/master/README.zh-cn.md二.使用： cn.edu.hfut.dmic.webcollector WebCollector 2.0...
分类：
Web程序 时间：
2015-07-11 11:51:11
阅读次数：
203
Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下（注：图片来自互联网）Scrapy主要包括了以下组件：引擎，用来处理整个系统的数据流处理，触发事务。调度器，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。下载器，用于下载网页内容，并将网页内容返回给蜘蛛。蜘...
分类：
其他好文 时间：
2015-06-29 22:11:33
阅读次数：
175
通常搜索引擎处理的对象是互联网网页。首先面临的问题是：如何能够设计出高效的下载系统，以将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。 网络爬虫即起此作用，它是搜索引擎系统中很关键也很基础的构件。1，爬虫框架 首先从互联网页面中精心选择一部分网页，以这些网页的链接地址作为种子...
分类：
其他好文 时间：
2015-05-28 22:54:36
阅读次数：
701
学习一门语言之前，要先搞清楚为什么要学习它，不能因为它火，就去学习，要明白火在哪里，优势在哪，在哪方面是其他语言无法取代的。那么我学习python的初衷就是因为它有一个出色的轻量级爬虫框架 scrapy，其实想应用框架是不需要学习python的，因为python的语法真的是很简单易懂，但既然接触了，就要系统的学习一下吧。...
分类：
编程语言 时间：
2015-05-24 14:16:53
阅读次数：
145
