安装好scrapy后执行scrapy crawl 命令 出现 no module named win32api错误 需要在http://sourceforge.net/projects/pywin32/files/ 该网站下载对应版本的win32模块（pywin32-218.win-amd64-p....
分类：
编程语言 时间：
2015-09-19 12:08:25
阅读次数：
194
commoncrawl 源码库是用于 Hadoop 的自定义 InputFormat 配送实现。Common Crawl 提供一个示例程序 BasicArcFileReaderSample.java (位于 org.commoncrawl.samples) 用来配置 InputFormat。comm...
分类：
其他好文 时间：
2015-08-11 07:16:01
阅读次数：
165
nutcher是中文的nutch文档，包含nutch的配置和源码解析，在github持续更新。
本教程由逼格DATA提供，未经允许，禁止转载。
可加入nutcher的bbs进行讨论：Nutch开发者
目录：
Nutch教程——导入Nutch工程，执行完整爬取
Nutch流程控制源码详解（bin/crawl中文注释版）
URLNormalizer源码详解（Nutch的URL正规化机制）...
分类：
编程语言 时间：
2015-07-25 15:17:22
阅读次数：
175
Scrapy 源代码分析系列－4 scrapy.commands 子包子包scrapy.commands定义了在命令scrapy中使用的子命令(subcommand): bench, check, crawl, deploy, edit, fetch,genspider, list, parse, ...
分类：
编程语言 时间：
2015-07-15 22:31:17
阅读次数：
426
一、 org.apache.nutch.crawl.Injector 注入url.txt url标准化 拦截url，进行正则校验（regex-urlfilter.txt） 对符合URL标准的url进行map对构造，在构造过程中给CrawlDatum初始化得分，分数可影响url host的搜索...
分类：
其他好文 时间：
2015-07-01 12:32:26
阅读次数：
117
【集锦】Nutch配置错误IO错误 记得出错的时候把出错的目录删除，否则下次还是出错。Command crawl is deprecated, please use bin/crawl instead 1.8和2.3版本不可以使用这个命令，所以才会有之前的错误。 使用以下代替：1 Us...
分类：
其他好文 时间：
2015-05-14 13:54:37
阅读次数：
204
一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages...
分类：
其他好文 时间：
2015-05-08 23:49:59
阅读次数：
154
文档内容说明
文档内容主要涉及基于 http://git.oschina.net/xautlx/nutch-ajax 项目内容（额外包含一些Nutch和Solr标准的功能和原理说明但不保证完整性）的设计和开发过程讲解。具体可详见文档目录列表。
主要功能特性
常规的HTML页面抓取: 对于常规的例如新闻类没有AJAX特性的页面可以直接用Nutch自带的protocol-http插件抓取。
常规的AJAX页面抓取: 对于绝大部分诸如jQuery ajax加载的页面，可以直接用htmlunit扩展插件抓取。
...
分类：
其他好文 时间：
2015-05-04 15:33:08
阅读次数：
294
近日做实验时，搞到w3af扫描工具时，用到discoverywebSpider命令，发现怎么也找不到discovery模块，文件搜不到，官网也没有discovery下载，后来发现，新版本的discovery改名为Crawl，如果有用到一些discovery发现模块，直接改去Crawl执行就好。
分类：
其他好文 时间：
2015-04-17 15:56:11
阅读次数：
172
运行Nutch的时候提示Generator: 0 records selected for fetching, exiting ...然后程序退出，怎么回事呢？ ? 原因多种多样，归根结底就是CrawlDB中的URL经过爬虫抓取调度器（默认是org.apache.nutch.crawl.Defa...
分类：
其他好文 时间：
2015-04-07 12:20:25
阅读次数：
266
