初学Nutch之简介与安装初学Nutch之简介与安装1、Nutch简介 Nutch是一个由Java实 现的，开放源代码（open-source）的web搜索引擎。主要用于收集网页数据，然后对其进行分析，建立索引，以提供相应的接口来对其网页数据进行 查询的一套工具。其底层使用了Hadoop来做分布式....
分类：
其他好文 时间：
2015-05-16 07:52:59
阅读次数：
310
试想一下，如果每天要收集100页网页数据甚至更多。如果采用人工收集会吐血，用程序去收集也就成为一个不二的选择。首先肯定会想到说用java、php、C#等高级语言，但这偏偏又有个登陆和验证码，搞到无所适从。还在为收集web端的数据感到苦恼吗？你找对地方了。
分类：
数据库 时间：
2015-05-09 16:21:06
阅读次数：
235
最近做网页数据加密工作, 使用CryptoJS v3.1.2 这个JavaScript脚本,网上比较有质量的文章实在太少,经验证加密结果与Asp.net DES加密结果一致参考文章https://gist.github.com/ufologist/5581486CryptoJS v3.1.2下载地址...
分类：
编程语言 时间：
2015-05-07 12:14:49
阅读次数：
476
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2015-05-05 18:20:01
阅读次数：
185
大数据概述一、大数据是什么？大数据目前没有一个严格的定义，但是我们可以举出很多具体的例子！例如：互联网上的网页数据、社交网站上的用户交互数据（如新浪微博）、物联网中产生的活动数据（如智能家居）、电话网络中的话单数据（如移动语音详单）等等都是大数据的具体表现。二、大数据的三个特征1、数据量大小–大容量我们现在常说大数据，到底有多大呢？先看一组公式：
1024GB = 1TB;1024TB = 1PB...
分类：
其他好文 时间：
2015-04-28 23:03:05
阅读次数：
274
Python标准库中有许多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如 urllib和urllib2 这个 HTTP 客户端库。这里总结了一些 urllib和urlib2 库的使用细节。Python urllib 库提供了一个从指定的 URL 地址获取网页数据，然后对其...
分类：
编程语言 时间：
2015-04-24 14:05:03
阅读次数：
193
1. 问题背景在使用urllib2 module抓取web数据时，如果希望使用如何request header，减少传输时数据量。返回的数据，是经过gzip压缩的。直接按照 content.decode(“utf8”), 解码会出现异常，并且也无法检测网页数据的实际编码类型。2. 问题分析因为http请求中，如果在request header包含”Accept-Encoding”:”gzip, de...
分类：
编程语言 时间：
2015-04-23 13:16:48
阅读次数：
225
这里用Hadley Wickham开发的rvest包。再次给这位矜矜业业开发各种好用的R包的大神奉上膝盖。 查阅资料如下： rvest的github rvest自身的帮助文档 rvest + CSS Selector 网页数据抓取的最佳选择-戴申 : 里面有提及如何快速获得html的位置。看完这篇，...
分类：
其他好文 时间：
2015-04-22 22:05:22
阅读次数：
597
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2015-04-21 14:23:49
阅读次数：
169
最近对抓包挺感兴趣的，所以就花了一点时间去研究。最后总结一下这套方法吧。HttpWatch这个软件相当于IE的一个插件（FireFox也支持）。HttpWatch是强大的网页数据分析工具，集成在Internet Explorer工具栏，包括网页摘要、Cookies管理、缓存管理、消息头发送/接受、字符查询、POST 数据和目录管理功能、报告输出等功能。总之HttpWatch 是一款能够收集并显示深层...
分类：
移动开发 时间：
2015-04-10 15:43:39
阅读次数：
247
