随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
进行抓取页面，我看了一下人家的教程，一般要用到htmlparser用来解析html得到一个网页的相关链接，用httpclient抓取网页数据，下面是一我写的spider类package com.openzone.search.spider;import java.io.BufferedReader;...
分类：
编程语言 时间：
2014-07-01 21:43:29
阅读次数：
261
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2014-06-27 11:57:51
阅读次数：
179
scrapy spider的parse方法可以返回两种值：BaseItem，或者Request。通过Request可以实现递归搜索。
如果要抓取的数据在当前页，可以直接解析返回item（代码中带**注释的行直接改为yield item）；
如果要抓取的数据在当前页指向的页面，则返回Request并指定parse_item作为callback；
如果要抓取的数据当前页有一部分，指向的页面有一部分（比如博客或论坛，当前页有标题、摘要和url，详情页面有完整内容）这种情况需要用Request的meta参数把...
分类：
Web程序 时间：
2014-06-27 09:46:13
阅读次数：
333
这次聊聊 「服务器」 这个词。可能会觉得为什么「突然问这个？」。接下来请先考虑一下下面的题目。A） 「Web服务器是指提供网页数据的软件」B） 「Web服务器是指运行上述软件的硬件」那么，究竟那句话是对的呢？答案是：2句都是对的。也就是说，提到「服务器」的时候，可能是指软件，也可能是指硬件。比如，「...
分类：
系统相关 时间：
2014-06-25 13:25:04
阅读次数：
216
不知道为什么计组老师的大量课件字体是伤害视力的亮蓝色……看久了眼睛疼，想把颜色替换成保护视力一点的灰色，但是找了N久也没找到在图形界面上直接操作的方法，于是在MSDN上晃了晃，Google了一下，写了个VBA小脚本，只替换选定颜色，这样可以保留红色或者其他颜色的高亮，顺便把让人分心的花花背景也干掉。...
分类：
其他好文 时间：
2014-06-25 11:11:01
阅读次数：
502
VBA清除Excel密码保护，2003/2007/2010均适用，直接运行即可清除密码保护...
分类：
其他好文 时间：
2014-06-25 06:59:12
阅读次数：
146
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2014-06-24 14:33:01
阅读次数：
235
所以当你遇到在Excel中需要不断重复一些操作时，就应该考虑使用宏和VBA来解决了，非常方便，更重要的是节省时间呀！
上次...
分类：
其他好文 时间：
2014-06-21 18:57:01
阅读次数：
169
