转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2014-08-20 16:07:22
阅读次数：
288
根据这一段时间的使用发现了一些问题，重新修正一下。
修正电脑从休眠状态中恢复时如果没有网络连接程序报错的bug。
添加了异常处理语句，防止抓取网页数据时的错误。
这个版本将是最后一个bug fix版本。
下载地址：百度云 下一个版本计划中可能添加一些新功能：
使用WTL类库。
由计划任务更新壁纸改为...
分类：
其他好文 时间：
2014-07-31 20:42:27
阅读次数：
230
我们可以通过在java程序中模拟浏览器一样，把数据抓下来，具体方法是在java程序中set header和cookie,下面是一个例子:
public class NetConnection {
public static final int MAX_HOTWORDS_FILE_SIZE = 256 * 1024;
public static void main(String[] args...
分类：
编程语言 时间：
2014-07-14 13:34:03
阅读次数：
219
应用程序不一定要自己去提供数据，有现成的数据学会去用才好。
网络很大，各种搜索引擎每天到处爬。本文通过正则表达式抓取网站的数据来做一个小词典。
一、正则表达式的使用
1. 确定匹配方案，即pattern
2. 用pattern实例化NSRegularExpression
3. 用匹配方法开始匹配。
匹配一次：可以使用firstMatch方法
匹配多次：可以用matchs方法...
分类：
移动开发 时间：
2014-07-12 18:48:51
阅读次数：
314
进行抓取页面，我看了一下人家的教程，一般要用到htmlparser用来解析html得到一个网页的相关链接，用httpclient抓取网页数据，下面是一我写的spider类package com.openzone.search.spider;import java.io.BufferedReader;...
分类：
编程语言 时间：
2014-07-01 21:43:29
阅读次数：
261
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2014-06-27 11:57:51
阅读次数：
179
scrapy spider的parse方法可以返回两种值：BaseItem，或者Request。通过Request可以实现递归搜索。
如果要抓取的数据在当前页，可以直接解析返回item（代码中带**注释的行直接改为yield item）；
如果要抓取的数据在当前页指向的页面，则返回Request并指定parse_item作为callback；
如果要抓取的数据当前页有一部分，指向的页面有一部分（比如博客或论坛，当前页有标题、摘要和url，详情页面有完整内容）这种情况需要用Request的meta参数把...
分类：
Web程序 时间：
2014-06-27 09:46:13
阅读次数：
333
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2014-06-24 14:33:01
阅读次数：
235
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2014-06-12 17:49:56
阅读次数：
273
