Python第一个程序小爬虫

最近想上手Python。快速入门一门语言的方法就是写个小Demo。Python Demo必须是爬虫了。第一个小爬虫程序有些简陋，高手勿喷。

关于爬虫主要分为三个部分：根据队列中的URL爬取界面、获取内容、保存结果。

程序是以百度网站大全为种子URL，抓取页面中URL依次放入队列中，爬虫从URL队列依次取得新URL继续向外爬取。

# -*- coding: utf-8 -*-
import urllib2
import re
import thread
import time

class HTML_Spider:

    def __init__(self):  
        self.url = []  
    #根据队列中的URL爬取界面
    def GetPage(self,url):
        try:
            myResponce = urllib2.urlopen(url)
            myPage = myResponce.read()      
            myUrl = re.findall(‘href="(.*?)"‘,myPage,re.S)
            self.url.extend(myUrl);
        except:
            print u‘当前URL不合法‘
            myPage = ‘ ‘
        return myPage
    #以HTML的形式保存界面
    def SavePage(self,page):
        if page != ‘ ‘:
            #以时间戳的形式为文件命名
            f = open(time.strftime(str(time.time()),time.localtime(time.time()))+‘.html‘,‘w+‘)#解决pagenama问题，最好采用保存时间命名
            f.write(page)
            f.close()
    #保持URL队列
    def StartSpider(self):
        i = 1
        while 1:
            if i == 1:
                url = u‘http://site.baidu.com/‘
            else:
                url = self.url[i]
            i += 1
            print url
            page = self.GetPage(url)
            self.SavePage(page)

#程序main函数  
print u‘开始爬取页面：‘  
raw_input(" ")
mySpider = HTML_Spider()  
mySpider.StartSpider()