对这个课程有兴趣的朋友，可以加我的QQ2059055336和我联系，可以和您分享。
课程介绍：最有前途的软件开发技术——搜索引擎技术
搜索引擎作为互联网发展中至关重要的一种应用，已经成为互联网各个领域的制高点，其重要性不言而喻。搜索引擎领域也是互联网应用中不多见的以核心技术作为其命脉的领域，搜索引擎各个子系统是如何设计的？这成为广大技术人员和搜索引擎优化人员密切关注的内容。
随着互...
分类：
其他好文 时间：
2014-05-09 15:24:17
阅读次数：
322
这几天闲着没事，写了个python爬虫，专把堆糖上的摄影类图片扒下来...
分类：
编程语言 时间：
2014-05-09 01:05:09
阅读次数：
295
先看看列表里的__setslice__方法函数的帮助文档
help(list.__setslice__)
帮助文档如下所示：
__setslice__(...)
x.__setslice__(i, j, y) x[i:j]=y
Use of negative indices is not supported.
从帮助文档可以看出这个方法函数可...
分类：
编程语言 时间：
2014-05-09 01:01:56
阅读次数：
326
最近写爬虫的时候，利用httpclient抓取一些网页出现一些问题，就是抓取回来的内容都含有大量的加密文本（通过javascript脚本），无法获得真实的内容（也就是用浏览器打开网页呈现的内容）。所以，一般需要配合js引擎来解决这个问题，搜索了下，发现htmlunit这个工具就可以帮忙。了解和使.....
分类：
Web程序 时间：
2014-05-08 22:54:09
阅读次数：
1123
小月月是个懒家伙，博客更新好慢...前几天拿到某公司的面试题，要求在Linux/Ubuntu/Debian/Suse/Centos下用python2.7开发一个爬虫，抓取百度新闻搜索结果的前三页标题+url。这可把对python一窍不通的小月月难住了，肿么办呢...哦，最简单有效直接的方法就是网上查...
分类：
编程语言 时间：
2014-05-07 17:11:38
阅读次数：
457
1. 科普
通用搜索引擎处理的对象是互联网的网页，目前网页的数量数以亿计，所以搜索引擎面临的第一个问题是如何设计出高效的下载系统，已将海量的网页下载到本地，在本地形成互联网网页的镜像。网络爬虫就是担当此大任的。
抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏...
分类：
编程语言 时间：
2014-05-07 02:41:56
阅读次数：
368
t = '''www.jeapedu.com
www.chinagame.me
www.quanzhan.org
'''
print t.splitlines()
Python的split方法函数可以分割字符串成列表，默认是以空格作为分隔符sep来分割字符串。
In [1]: s = "www jeapedu com"
In [2]: p...
分类：
编程语言 时间：
2014-05-07 02:37:08
阅读次数：
478
标题用标题 iamge 中加上 alt=“” 的属性 这样有利用百度的搜索引擎爬虫搜索到
分类：
其他好文 时间：
2014-05-06 13:19:51
阅读次数：
249
讨论了glusterfs对文件系统爬虫rsync／ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作，减少fuse client的负载，减少req的网络轮询次数，减少一次网络通信时间，缓存预抓取，并发，异步，bulk 传输。...
分类：
其他好文 时间：
2014-05-05 13:24:35
阅读次数：
536
在高性能爬虫为什么使用定制DNS客户端一文中阐述了DNS解析是网络爬虫的瓶颈。目前主要有两种方法来提高DNS解析效率：1. 基于多线程的DNS 解析2.
基于NIO的DNS解析dnsjava中使用的解析方式就是基于多线程的DNS解析class ResolveThread extends Thread...
分类：
其他好文 时间：
2014-05-04 11:15:14
阅读次数：
300
