一、主题式网络爬虫设计方案 1. 主题式网络爬虫的名称 纵横小说网的爬取 2. 主题式网络爬虫的内容与数据特征分析 爬取内容：小说网链接，小说网页面链接，小说链接，小说名 小说的字数、总推荐、总点击、周推荐、作品总数和每月更新 数据特征分析： 把书名、总推荐和总点击做透视表和可视化 做用每月更新和作 ...
分类：
编程语言 时间：
2019-12-20 22:38:39
阅读次数：
188
之前我们已经介绍了如何采集纵横小说网站上的信息以及如何把这些信息持久化到数据库中；那么如何使用这些实现分布式采集？各个模块之间如何完美的配合完成各自的功能？这一篇博客将会做出完美的解答...
分类：
Web程序 时间：
2015-07-09 11:18:53
阅读次数：
189
本文通过纵横中文小说网为例，介绍如何实现分布式采集的数据库设计；介绍四个采集模块之间的关系，以及他们采集的信息如何存储...
分类：
数据库 时间：
2015-05-13 16:49:09
阅读次数：
244
本文介绍了如何通过CrawlBase来实现纵横小说阅读页信息的采集，加上之前的三篇博客就完成了对纵横小说的信息采集，之后会给出具体的main方法，来实现整个流程的运行~...
分类：
Web程序 时间：
2015-04-08 10:56:51
阅读次数：
157
本文介绍了如何通过CrawlBase来实现纵横小说章节列表页信息的采集，同时提供了对于无法右键查看网页源代码网页的信息采集方案...
分类：
Web程序 时间：
2015-04-03 15:17:59
阅读次数：
134
本文通过对纵横小说简介页源代码的分析，介绍了如何通过CrawlBase来采集相关信息...
分类：
Web程序 时间：
2015-04-03 11:17:15
阅读次数：
262
本文一纵横中文小说网的更新列表页为例，详细的介绍了如何通过HttpClient去采集更新列表页的内容，介绍如何使用自建类CrawlListPageBase以及如何处理非预期BUG...
分类：
Web程序 时间：
2015-04-02 15:09:16
阅读次数：
160
