SharePoint 2013 search service 爬网错误诊断三则...
分类：
其他好文 时间：
2014-09-13 21:34:35
阅读次数：
218
fetcher.max.crawl.delay 默认是30秒，这里改为 5秒修改nutch-default.xml fetcher.max.crawl.delay 5 If the Crawl-Delay in robots.txt is set to greater than this val.....
分类：
其他好文 时间：
2014-09-05 12:37:31
阅读次数：
193
一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages...
分类：
其他好文 时间：
2014-09-01 17:11:43
阅读次数：
213
bin/hadoop jar apache-nutch-1.7.job org.apache.nutch.crawl.CrawlDbReader crawl/crawldb -stats -sort会发现好多unfetched，原因是：nutch-default.xml对generate的时候进行....
分类：
其他好文 时间：
2014-08-28 20:56:46
阅读次数：
254
关于nutch的基础知识能够參考lemo的专栏nutch支持二次开发，为了满足搜索的准确率的问题，考虑只将网页正文的内容提取出来作为索引的内容，相应的是parse_text的数据。我使用的事nutch1.4 版本号，在cygwin下运行crawl命令进行爬取。bin/nutch crawl urls...
分类：
其他好文 时间：
2014-08-22 12:34:26
阅读次数：
193
一、抓取流程概述
1、nutch抓取流程
当使用crawl命令进行抓取任务时，其基本流程步骤如下：
（1）InjectorJob
开始第一个迭代
（2）GeneratorJob
（3）FetcherJob
（4）ParserJob
（5）DbUpdaterJob
（6）SolrIndexerJob
开始第二个迭代
（2）GeneratorJob（3）FetcherJob（4）...
分类：
其他好文 时间：
2014-08-15 22:36:09
阅读次数：
1149
本文主要从nutch的Crawl方法开始，分享了nutch爬取的第一个步骤——注入（Inject）以及具体的流程和处理的方法
分类：
其他好文 时间：
2014-07-26 16:53:51
阅读次数：
328
一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages...
