本文介绍了如何通过CrawlBase来实现纵横小说章节列表页信息的采集，同时提供了对于无法右键查看网页源代码网页的信息采集方案...
分类：
Web程序 时间：
2015-04-03 15:17:59
阅读次数：
134
PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用 Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。在线示 例：http://...
分类：
Web程序 时间：
2015-04-03 11:41:02
阅读次数：
212
本文通过对纵横小说简介页源代码的分析，介绍了如何通过CrawlBase来采集相关信息...
分类：
Web程序 时间：
2015-04-03 11:17:15
阅读次数：
262
有了url之后，用xpath表达式提取出来，再写到文件里即可...
分类：
Web程序 时间：
2015-04-03 09:35:12
阅读次数：
167
服务器端做爬虫我是使用Jsoup这个jar包来对网页源码进行分析，但是在使用getElementsByClass获取新闻列表的时候，却始终为空。我直接查看了网页源码，发现源码上根本没有新闻列表的信息。然后我使用firebug去分析新闻列表的ajax地址，直接访问改地址，Access denied。。...
分类：
移动开发 时间：
2015-04-03 09:13:19
阅读次数：
147
本文一纵横中文小说网的更新列表页为例，详细的介绍了如何通过HttpClient去采集更新列表页的内容，介绍如何使用自建类CrawlListPageBase以及如何处理非预期BUG...
分类：
Web程序 时间：
2015-04-02 15:09:16
阅读次数：
160
Hadoop历史 ? ? ? ? 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 ? ? ? ? 随后在2003年Google发表了...
分类：
其他好文 时间：
2015-04-02 13:33:47
阅读次数：
161
java思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单，一行代码就能知道怎么用了：1 Document doc = Jsoup.connect("http://www.oschina.....
分类：
编程语言 时间：
2015-04-02 13:12:26
阅读次数：
262
（1）优点：将主体内容放在前面更符合语义化。语义化是指用合理HTML标记以及其特有的属性去格式化文档内容。通俗地讲,语义化就是对数据和信息进行处理,使得机器可以理解.语义化的(X)HTML文档有助于提升你的网站对访客的易用性，比如使用PDA、文字浏览器以及残障人士将从中受益。对于搜索引擎或者爬虫软件...
分类：
其他好文 时间：
2015-04-01 23:46:30
阅读次数：
183
程序比较简单，但是能体现基本原理。package com.wxisme.webcrawlers;import java.io.*;import java.net.*;/** * Web Crawlers * @author wxisme * */public class WebCrawlers {....
分类：
Web程序 时间：
2015-04-01 23:29:49
阅读次数：
150
