随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
进行抓取页面，我看了一下人家的教程，一般要用到htmlparser用来解析html得到一个网页的相关链接，用httpclient抓取网页数据，下面是一我写的spider类package com.openzone.search.spider;import java.io.BufferedReader;...
分类：
编程语言 时间：
2014-07-01 21:43:29
阅读次数：
261
云适配，这是一家能以一行代码将你的网站移动化，实现网址不变且内容实时自动同步的服务提供商。云适配所采用的技术是一项基于云计算、利用html5进行网站跨屏适配，它为目标网站开发一行JS代码，并嵌入PC网站，这个JS代码通过对PC网站目标网页数据的分析和抓取，在云端完成用户当前设备的网页最佳展现方式的计...
分类：
Web程序 时间：
2014-07-01 21:07:52
阅读次数：
266
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2014-06-27 11:57:51
阅读次数：
179
scrapy spider的parse方法可以返回两种值：BaseItem，或者Request。通过Request可以实现递归搜索。
如果要抓取的数据在当前页，可以直接解析返回item（代码中带**注释的行直接改为yield item）；
如果要抓取的数据在当前页指向的页面，则返回Request并指定parse_item作为callback；
如果要抓取的数据当前页有一部分，指向的页面有一部分（比如博客或论坛，当前页有标题、摘要和url，详情页面有完整内容）这种情况需要用Request的meta参数把...
分类：
Web程序 时间：
2014-06-27 09:46:13
阅读次数：
333
这次聊聊 「服务器」 这个词。可能会觉得为什么「突然问这个？」。接下来请先考虑一下下面的题目。A） 「Web服务器是指提供网页数据的软件」B） 「Web服务器是指运行上述软件的硬件」那么，究竟那句话是对的呢？答案是：2句都是对的。也就是说，提到「服务器」的时候，可能是指软件，也可能是指硬件。比如，「...
分类：
系统相关 时间：
2014-06-25 13:25:04
阅读次数：
216
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2014-06-24 14:33:01
阅读次数：
235
目前，在手机上使用浏览器访问网页，无法便捷地进行网页语言调试。手机屏幕相对较小且操作不便，直接在手机上进行网页数据调试不太现实。因此，UC使用技术将手机网页调试信息分离，实现一种能在大屏幕、高配置PC上来调试小屏幕、低配置的手机浏览器访问的网页的开发工具——Remote
Inspector（简称RI...
分类：
移动开发 时间：
2014-06-12 06:59:52
阅读次数：
396
