处于兴趣，最近在学习一个Java的网络爬虫框架webmagic，其实就是用一个程序来把下载任务自动化，比如你想下载一张图片很快，直接右键点击下载就可以了，但如果下载1000张就需要花些时间了。但计算机可以把这一系列步骤自动化，而你只需要制定规则就行了。折腾了几天好不容易入门了，兴冲冲地准备爬取知.....
分类：
Web程序 时间：
2015-11-21 18:25:10
阅读次数：
141
SeimiCrawler是一个强大的，高效敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上Sei...
分类：
编程语言 时间：
2015-11-10 23:44:17
阅读次数：
242
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： ????? 1.分布式爬虫：Nutch ????? 2.JA...
分类：
其他好文 时间：
2015-11-03 21:23:22
阅读次数：
299
scrapy是目前准备要学习的爬虫框架，其在ubuntu14.04下的安装过程如下：ubuntu14.04下默认安装了2.7的python以及setuptools，若未安装，可通过下面指令安装：sudo apt-get install pythonsudo apt-get install pytho...
分类：
系统相关 时间：
2015-09-24 22:43:08
阅读次数：
451
最近实验室的项目中有一个需求是这样的，需要爬取若干个（数目不小）网站发布的文章元数据（标题、时间、正文等）。问题是这些网站都很老旧和小众，当然也不可能遵守Microdata这类标准。这时候所有网页共用一套默认规则无法保证正确抓取到信息，而每个网页写一份spider代码也不切实际。这时候，我迫切地希望...
分类：
编程语言 时间：
2015-08-29 16:57:23
阅读次数：
338
Linux 安装python爬虫框架 scrapy...
分类：
编程语言 时间：
2015-08-21 17:12:35
阅读次数：
163
Python入门网络爬虫之精华版Python学习网络爬虫主要分3个大的版块：抓取，分析，存储
另外，比较常用的爬虫框架Scrapy，这里最后也介绍一下。
先列举一下相关参考：宁哥的小站-网络爬虫 抓取这一步，你要明确要得到的内容是是什么？是HTML源码，还是Json格式的字符串等等。 1. 最基本的抓取一般属于get请求情况，直接从服务器上获取数据。
首先，Python中自带urllib及...
分类：
编程语言 时间：
2015-08-19 13:22:48
阅读次数：
220
搬运自本人博客：http://www.xgezhang.com/xpath_helper.html
每一个写爬虫、或者是做网页分析的人，相信都会因为在定位、获取xpath路径上花费大量的时间，甚至有时候当爬虫框架成熟之后，基本上主要的时间都花费在了页面的解析上。在没有这些辅助工具的日子里，我们只能通过搜索html源代码，定位一些id去找到对应的位置，非常的麻烦，而且经常出错。这里介绍一个...
分类：
Web程序 时间：
2015-08-16 18:19:02
阅读次数：
388
Beautiful Soup。名气大，整合了一些常用爬虫需求。缺点：不能加载JS。Scrapy。看起来很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个...
分类：
其他好文 时间：
2015-08-11 07:08:56
阅读次数：
9257
