最近用python做了个小crawler， 可以自动整理一些网站的内容，推送到当地文件中，做个小小的总结。
主要lib就是urllib 和 beautifulsoup.
urllib和urllib2是很方便的网页提取库，核心就是发送各种自定义的url request,然后可以返回网页内容。 最简单的函数，判定一个网页是否存在：
def isUrlExists(url):
...
分类：
编程语言 时间：
2015-05-26 10:49:11
阅读次数：
190
首先，爬虫是什么？这个问题百度百科里我觉得讲的蛮清楚的。这里我利用BFS进行图片搜索，代码在github上： https://github.com/crj8812/WinSocket 中的Crawler
分类：
编程语言 时间：
2015-05-18 20:41:53
阅读次数：
181
如果让你来设计一个最基本的Web Crawler，该如何设计？需要考虑的因素有哪些？...
分类：
编程语言 时间：
2015-05-13 10:31:16
阅读次数：
1261
sudo apt-get install python-mysqldb #!/usr/bin/python
#-*-coding:utf-8-*- '''
This file include all the common routine,that are needed in
the crawler ...
分类：
数据库 时间：
2015-05-06 14:37:04
阅读次数：
140
One Person Game
Time Limit:2000MS Memory Limit:65536KB 64bit IO Format:%lld
& %llu
Submit Status Practice ZOJ
3593
Appoint description:
System Crawler (2015-04-29)
Descripti...
分类：
其他好文 时间：
2015-05-05 00:08:21
阅读次数：
186
Strange Way to Express Integers
Time Limit:1000MS Memory Limit:131072KB 64bit IO Format:%I64d
& %I64u
Submit Status Practice POJ
2891
Appoint description:
System Crawler (2015-04...
分类：
其他好文 时间：
2015-05-03 00:50:18
阅读次数：
286
http://www.ibm.com/developerworks/cn/opensource/os-cn-crawler/http://blog.csdn.net/dancen/article/details/7570911HttpClient 与 HtmlParser 简介本小结简单的介绍一下 ...
分类：
Web程序 时间：
2015-05-02 20:44:59
阅读次数：
153
Chinese remainder theorem again
Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d
& %I64u
Submit Status Practice HDU
1788
Appoint description:
System Crawler (2015-04-...
分类：
其他好文 时间：
2015-05-02 19:32:50
阅读次数：
134
Biorhythms
Time Limit:1000MS Memory Limit:10000KB 64bit IO Format:%I64d
& %I64u
Submit Status Practice POJ
1006
Appoint description:
clzls (2015-03-14)System Crawler (2015-04-25...
分类：
其他好文 时间：
2015-05-02 09:45:55
阅读次数：
80
Hello Kiki
Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d
& %I64u
Submit Status Practice HDU
3579
Appoint description:
System Crawler (2015-04-29)
Description...
分类：
其他好文 时间：
2015-05-01 23:55:09
阅读次数：
380
