bloomFilter是70年代提出来的一个利用时间，错误率来换取空间的应用。应用在大数据量的情况下，比如爬虫抓取的大量url，用来判断哪些url是已经爬取过的。m =>使用的散列长度，这个值通常用来创建BitSet的长度，java.util.BitSetn =>待散列的字符串的个数。k =>使用的...
分类：
其他好文 时间：
2014-08-28 12:52:49
阅读次数：
159
最近实验室项目涉及到很多爬虫相关的东西，在此做个整理，爬虫最难的问题应该是javascript和ajax的处理。现在很多网站使用大量ajax，普通爬虫无法获取js生成的内容。 对于普通的静态网页，HttpClient是Java中抓取网页的利器，然而针对像京东商品页面这样的页面却无能为力，例如：htt...
分类：
编程语言 时间：
2014-08-27 18:05:08
阅读次数：
1308
http://blog.csdn.net/pi9nc/article/details/9734437 一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面...
分类：
编程语言 时间：
2014-08-26 00:06:55
阅读次数：
299
吐槽前天心血来潮, 把自己面试经历下了下来.我觉得自己求职一路来比较心酸, 也付出了比一般人更多的汗水.本以为写出来, 好歹可以作为一篇励志故事.得到的评论却是, 语言只是一门工具. ||| 这句话我已经听了4年了! 我以前也是XX, 现在XXX. ||| 直到你膝盖中了一箭? 我也是用c的....
分类：
编程语言 时间：
2014-08-24 12:53:33
阅读次数：
313
吐槽前天心血来潮, 把自己面试经历下了下来.我觉得自己求职一路来比较心酸, 也付出了比一般人更多的汗水.本以为写出来, 好歹可以作为一篇励志故事.得到的评论却是, 语言只是一门工具. ||| 这句话我已经听了4年了! 我以前也是XX, 现在XXX. ||| 直到你膝盖中了一箭? 我也是用c的....
分类：
编程语言 时间：
2014-08-24 00:11:51
阅读次数：
332
七日python之路 七日python -- 第一天 七日python -- 第二天 ... scrapy爬虫 python爬虫----（1. 基本模块） ... pytnon基础 python基本 -- threading多线程模块的使用 python基本 -- mysql 的使用...
分类：
其他好文 时间：
2014-08-23 04:38:50
阅读次数：
171
import mysql.connectorimport sys, osimport urllib.requestimport reimport itertoolsimport base64search_item='金融'#搜索项改这个就可以了#以后只需要修改search_item就可以了#转成by...
分类：
其他好文 时间：
2014-08-22 16:02:29
阅读次数：
197
使用 libtorrent 的python绑定库实现一个dht网络爬虫，抓取dht网络中的磁力链接。 dht 网络简介 p2p网络 在P2P网络中，通过种子文件下载资源时，要知道资源在P2P网络中哪些计算机中，这些传输资源的计算机称作pee...
分类：
编程语言 时间：
2014-08-22 14:40:39
阅读次数：
222
闲的时候一直在自己研究爬虫相关的东西，看过一两个开源框架，自己照猫画虎的写了一个，目前看来我的爬虫可以用了，但还是有很多不足，把我目前的经验写出来跟大家分享一下。 国外爬虫的局限 1.太守规矩（如果有Robot文件就要按着爬） 2.无法自由切换代理，如果切换代理对所有线程都有影响，...
分类：
其他好文 时间：
2014-08-22 10:35:25
阅读次数：
321
利用xpath()分析抓取数据还是比较简单的，只是网址的跳转和递归等比较麻烦。耽误了好久，还是豆瓣好呀，URL那么的规范。唉，亚马逊URL乱七八糟的.... 可能对url理解还不够. amazon
├──?amazon
│??...
分类：
编程语言 时间：
2014-08-22 05:03:45
阅读次数：
3369
