python3 网页爬虫图片下载无效链接处理 try except

标签：python3 图片 爬虫 无效链接 try except

代码比较粗糙，主要是备忘容易出错的地方。供自己以后查阅。

#图片下载

import re

import urllib.request    #python3中模块名和2.x（urllib）的不一样

site=‘https://world.taobao.com/item/530762904536.htm?spm=a21bp.7806943.topsale_XX.4.jcjxZC‘

page=urllib.request.urlopen(site)

html=page.read()

html=html.decode(‘utf-8‘)    #读取下来的网页源码需要转换成utf-8格式

reg=r‘src="//(gd.*?jpg)‘

imgre=re.compile(reg)

imglist=re.findall(imgre,html)

trueurls=[]

for i in imglist:

trueurls.append(i.replace(‘gd‘,‘http://gd‘))

trueurls[2]=‘http://wlgsad.com.jpg‘

print (trueurls)

x=200

for j in trueurls:

try:

urllib.request.urlretrieve(j,‘%s.jpg‘ %x)    

except Exception :     #except Exception as e:

pass        #    print (e)

                  #     print (‘有无效链接‘)

x=x+1

在except子句可以打印出一些提示信息

下载图片的时候，如果有无效的链接，可以用try except跳过无效链接继续下一个图片的下载

python3 网页爬虫图片下载无效链接处理 try except

标签：python3 图片 爬虫 无效链接 try except

原文地址：http://eiouwaikiu.blog.51cto.com/7890868/1872110