JAVA爬虫WebCollector教程列表
入门教程：
WebCollector入门教程（中文版）
用WebCollector对指定URL进行爬取和解析
JAVA爬虫Nutch、WebCollector的正则约束
实例：
用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫（JAVA）
内核：
利用WebCollector爬虫...
分类：
编程语言 时间：
2014-08-28 14:52:39
阅读次数：
453
每种爬虫的正则约束系统都有一些区别，这里拿Nutch、WebCollector两家爬虫的正则系统做对比。爬虫爬取时，需要约束爬取的范围。基本所有的爬虫都是通过正则表达式来完成这个约束................
分类：
编程语言 时间：
2014-08-28 13:18:59
阅读次数：
569
bloomFilter是70年代提出来的一个利用时间，错误率来换取空间的应用。应用在大数据量的情况下，比如爬虫抓取的大量url，用来判断哪些url是已经爬取过的。m =>使用的散列长度，这个值通常用来创建BitSet的长度，java.util.BitSetn =>待散列的字符串的个数。k =>使用的...
分类：
其他好文 时间：
2014-08-28 12:52:49
阅读次数：
159
只是度过了又一个平凡的一天。
上班，看代码，写程序，偶尔刷刷知乎。
没有收到太多的祝福，但是平静和不扰也让我觉得幸福。出生21年了，感谢养育我这么多年的父母，而他们正在老去。
实习考核最终还是没能留的下来，还是有那么一点失落。不在于结果，而是怎么说这都是一种否定。虽然来的时候也没有打算留下，可是我都不好意思实习地长一点，我的八个学分怎么办。还是要厚脸皮的再待三个月。当...
分类：
其他好文 时间：
2014-08-28 00:57:18
阅读次数：
228
最近实验室项目涉及到很多爬虫相关的东西，在此做个整理，爬虫最难的问题应该是javascript和ajax的处理。现在很多网站使用大量ajax，普通爬虫无法获取js生成的内容。 对于普通的静态网页，HttpClient是Java中抓取网页的利器，然而针对像京东商品页面这样的页面却无能为力，例如：htt...
分类：
编程语言 时间：
2014-08-27 18:05:08
阅读次数：
1308
三年半前，创业前夜，我写下了一篇写给前东家的情书以作明志。而今天，在我三十一岁生日当天，写下这篇阶段性创业结束的复盘，算是对三年半前那篇的慎始敬终吧。说实话，今天我自己再看一遍当年那些意气风发的文字，看完感觉就是干了一碗鸡汤，它是一篇豪迈的出师表，但实际上作为创业者真正需要的却是更加实用的隆中对。所...
分类：
其他好文 时间：
2014-08-26 11:15:15
阅读次数：
233
http://blog.csdn.net/pi9nc/article/details/9734437 一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面...
分类：
编程语言 时间：
2014-08-26 00:06:55
阅读次数：
299
居民身份证号码，根据〖中华人民共和国国家标准 GB 11643-1999〗中有关公民身份号码的规定，公民身份号码是特征组合码，由十七位数字本体码和一位数字校验码组成。排列顺序从左至右依次为：六位数字地址码，八位数字出生日期码，三位数字顺序码和一位数字校验码。一、身份证号码的组成1、地址码(身份证号码...
分类：
其他好文 时间：
2014-08-24 23:48:03
阅读次数：
306
吐槽前天心血来潮, 把自己面试经历下了下来.我觉得自己求职一路来比较心酸, 也付出了比一般人更多的汗水.本以为写出来, 好歹可以作为一篇励志故事.得到的评论却是, 语言只是一门工具. ||| 这句话我已经听了4年了! 我以前也是XX, 现在XXX. ||| 直到你膝盖中了一箭? 我也是用c的....
分类：
编程语言 时间：
2014-08-24 12:53:33
阅读次数：
313
吐槽前天心血来潮, 把自己面试经历下了下来.我觉得自己求职一路来比较心酸, 也付出了比一般人更多的汗水.本以为写出来, 好歹可以作为一篇励志故事.得到的评论却是, 语言只是一门工具. ||| 这句话我已经听了4年了! 我以前也是XX, 现在XXX. ||| 直到你膝盖中了一箭? 我也是用c的....
分类：
编程语言 时间：
2014-08-24 00:11:51
阅读次数：
332
