码迷,mamicode.com
首页 > 其他好文 > 详细

豆瓣电影简易爬取

时间:2018-11-29 11:00:39      阅读:222      评论:0      收藏:0      [点我收藏+]

标签:tag   art   sha   init   close   for   als   __init__   __name__   

#coding=utf-8
import urllib2
from HTMLParser import HTMLParser
class HttpParser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.move=[]

    def handle_starttag(self,tag,attrs):
        def _attr(attrlist,attrname):
            for attr in attrlist:
                if attr[0]==attrname:
                    return attr[1]
            return None

        if tag==‘li‘ and _attr(attrs,‘data-title‘):
            move={}
            move[‘title‘]=_attr(attrs,‘data-title‘)
            move[‘rate‘] = _attr(attrs, ‘data-rate‘)
            self.move.append(move)

def get(url):

    re=urllib2.urlopen(url)
    parser=HttpParser()
    parser.feed(re.read())
    re.close()
    return parser.move



if __name__ == ‘__main__‘:
    url=‘https://movie.douban.com/‘
    moves=get(url)
    import json
    print json.dumps(moves,ensure_ascii=False,indent=2)

 

豆瓣电影简易爬取

标签:tag   art   sha   init   close   for   als   __init__   __name__   

原文地址:https://www.cnblogs.com/qinyios/p/10036092.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!