码迷,mamicode.com
首页 > 其他好文 > 详细

通过scrapy内置的ImagePipeline下载图片到本地

时间:2017-06-26 00:41:11      阅读:712      评论:0      收藏:0      [点我收藏+]

标签:图片路径   pip   获取   爬虫   优先   style   爬取   name   执行   

1.通过scrapy内置的ImagePipeline下载图片到本地

1.通过scrapy内置的ImagePipeline下载图片到本地

1)在settings.py中打开 ITEM_PIPELINES 的注释,在  ITEM_PIPELINES 中加入

ITEM_PIPELINES = {
   ‘spider_first.pipelines.SpiderFirstPipeline‘: 300,
‘scrapy.pipelines.images.ImagesPipeline‘:5,
#后面的数字代表执行优先级 ,当执行pipeine的时候会按照数字由小到大执行
}

2)settings.py中加入

IMAGES_URLS_FIELD ="image_url"  #image_url是在items.py中配置的网络爬取得图片地址
#配置保存本地的地址
project_dir=os.path.abspath(os.path.dirname(__file__)) #获取当前爬虫项目的绝对路径
IMAGES_STORE=os.path.join(project_dir,‘images‘) #组装新的图片路径

可能报错:

ModuleNotFoundError: No module named PIL

安装pillow库即可
pip install pillow

启动爬虫 ,即可images文件夹下看到下载的图片

技术分享

 

通过scrapy内置的ImagePipeline下载图片到本地

标签:图片路径   pip   获取   爬虫   优先   style   爬取   name   执行   

原文地址:http://www.cnblogs.com/attitudeY/p/7078559.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!