码迷,mamicode.com
首页 > 编程语言 > 详细

Python3爬虫获取

时间:2017-12-18 19:15:13      阅读:287      评论:0      收藏:0      [点我收藏+]

标签:mat   gear   import   bing   byte   成功   nbsp   获取   module   

  “AttributeError: ‘module‘ object has no attribute ‘urlopen‘”
 
原因是Python3里的urllib模块已经发生改变,此处的urllib都应该改成urllib.request。
 
修改之后再运行,发现又有如下提示:
 
    TypeError: can‘t use a string pattern on a bytes-like object
 
原因为Python3 findall数据类型用bytes类型,因此在正则表达式前应添加html = html.decode(‘utf-8‘)。
 
修改完后运行,成功~,不过由于网站原因,仍只能保存最近的24张背景图。最终代码如下:

#!/usr/bin/env python

# -*- coding:utf-8 -*-

# -*- author:arron ni-*-

# python3抓取bing主页所有背景图片

import urllib,re,sys,os

def get_bing_backphoto():

    if (os.path.exists(‘photos‘)== False):

        os.mkdir(‘photos‘)

    for i in range(0,30):

        url = ‘http://cn.bing.com/HPImageArchive.aspx?format=js&idx=‘+str(i)+‘&n=1&nc=1361089515117&FORM=HYLH1‘

        html = urllib.request.urlopen(url).read()

        if html == ‘null‘:

            print( ‘open & read bing error!‘)

            sys.exit(-1)

        html = html.decode(‘utf-8‘)

        reg = re.compile(‘"url":"(.*?)","urlbase"‘,re.S)

        text = re.findall(reg,html)

        #http://s.cn.bing.net/az/hprichbg/rb/LongJi_ZH-CN8658435963_1366x768.jpg

        for imgurl in text :

            right = imgurl.rindex(‘/‘)

            name = imgurl.replace(imgurl[:right+1],‘‘)

            savepath = ‘photos/‘+ name

            urllib.request.urlretrieve(imgurl, savepath)

            print (name + ‘ save success!‘)

get_bing_backphoto()

 

Python3爬虫获取

标签:mat   gear   import   bing   byte   成功   nbsp   获取   module   

原文地址:http://www.cnblogs.com/zfquan/p/8057672.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!