码迷,mamicode.com
首页 > 系统相关 > 详细

Mac OS安装Scrapy

时间:2017-06-13 19:47:34      阅读:232      评论:0      收藏:0      [点我收藏+]

标签:scrapy   href   导致   特定   删除   pyenv   使用   exception   电商网站   

个人觉得掌握简单的爬虫知识非常有用,特别是想要从一些特定网站自动地下载一些资源或者统计一些数据,非常的有用。对于产品经理来说,如果要了解竞争产品、替代产品的价格,可以写一个爬虫脚本从各大电商网站爬取相关的资料,避免人工处理的麻烦。

Python写爬虫可以从简单的Scrapy框架入手。对于Mac OS系统来说,由于系统本身会引用自带的python2.x的库,因此默认安装的包是不能被删除的。如果你使用python3.x可以使用homebrew来安装,但是如果你习惯使用python2.x,那么直接安装在默认路径会出错。

Found existing installation: six 1.4.1
DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. 
This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):

原因很简单:Scrapy依赖six库,但是系统的six库比较老,安装scrapy需要卸载之后安装一个新的。但是Mac OS本身也依赖six,导致无法删除,因此没有办法安装Scrapy。

解决的方式是:使用virtualenv来安装。

  1. sudo pip install virtualenv
  2. virtualenv scrapyenv
  3. cd scrapyenv
  4. source bin/activate
  5. pip install Scrapy

安装完成之后,安装如下包:

技术分享

好了,可以使用scrapy startproject yourproject开始你的爬虫之旅了。

Mac OS安装Scrapy

标签:scrapy   href   导致   特定   删除   pyenv   使用   exception   电商网站   

原文地址:http://www.cnblogs.com/r360/p/7003057.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!