今天我们来看看Nutch的源代码中的protocol-http插件，是如何抓取和下载web页面的。protocol-http就两个类HttpRespose和Http类，其中HttpRespose主要是向web服务器发请求来获取响应，从而下载页面。Http类则非常简单，其实可以说是HttpRespon...
分类：
Web程序 时间：
2014-08-22 15:53:38
阅读次数：
266
使用 libtorrent 的python绑定库实现一个dht网络爬虫，抓取dht网络中的磁力链接。 dht 网络简介 p2p网络 在P2P网络中，通过种子文件下载资源时，要知道资源在P2P网络中哪些计算机中，这些传输资源的计算机称作pee...
分类：
编程语言 时间：
2014-08-22 14:40:39
阅读次数：
222
工作中有个需求是关于抓取扬声器的声音， 为什么会有这个需求？
试想我们在共享远程桌面时，如果能够把本地桌面应用程序的声音也一起发给对方，然后播放出来， 用户体验该是多么棒。
分类：
其他好文 时间：
2014-08-22 08:10:15
阅读次数：
125
利用xpath()分析抓取数据还是比较简单的，只是网址的跳转和递归等比较麻烦。耽误了好久，还是豆瓣好呀，URL那么的规范。唉，亚马逊URL乱七八糟的.... 可能对url理解还不够. amazon
├──?amazon
│??...
分类：
编程语言 时间：
2014-08-22 05:03:45
阅读次数：
3369
工作中有个需求是关于抓取扬声器的声音， 为什么会有这个需求？
试想我们在共享远程桌面时，如果能够把本地桌面应用程序的声音也一起发给对方， 用户体验该是多么棒。
分类：
其他好文 时间：
2014-08-22 00:15:55
阅读次数：
196
最近刚网页抓取，抓取下来后需要解析，所以在网上找了一些资料，也问问我的师兄，最终结合网上的开源知识，完成了htmlcxx的使用。vs2013.首先要去下载htmlcxx：https://github.com/dhoerl/htmlcxx或者你也可以百度下去下载一个。接下来，将文件文件解压，我用vs2...
分类：
编程语言 时间：
2014-08-22 00:12:05
阅读次数：
372
###1 抓取的网址是360团购 http://tuan.360.cn/bei_jing/c_0.html?kw=电影&pageno=1#tuanFilter ###2 利用firefox的FireBug插件分析其源代码，如下所示： ![在此输入图片描述][1] ``` "//*/h3[@class=‘desc‘]" 匹...
分类：
其他好文 时间：
2014-08-21 21:20:55
阅读次数：
259
perl登录各种网站的原理与实现 tkorays(tkorays@hotmail.com) 小孩子才践行大道理，大人只会讲。 ??????? 写脚本抓取某个页面内容很简单，但是往往事情没那么简单。有些页面必须是要登录才能查看的，比如你...
分类：
Web程序 时间：
2014-08-21 19:46:14
阅读次数：
221
早就听说gevent基于事件的异步处理能力 效率多么，一致z...
分类：
其他好文 时间：
2014-08-21 01:39:03
阅读次数：
250
感觉awk判断语句像是乱序的，这一周学习awk总结grep "all_time" log/bn-as.log | head -4000 | grep -o baidu_id="[a-z|A-Z|0-9_]*"| awk -F '=' '{if($2 != "") print $2 >> "outpu...
分类：
其他好文 时间：
2014-08-20 19:26:02
阅读次数：
178
