码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy学习--安装

时间:2019-03-05 00:58:48      阅读:157      评论:0      收藏:0      [点我收藏+]

标签:ges   抓取   rap   最新版   web   新版本   依赖包   b站   nss   

如果我们使用python爬取数据,那么scrapy必定是首选。

本文章记录学习过程中的两个问题

1,什么是scrapy

百科介绍:

Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。
使用:
Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
特点:
Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。
Scrap,是碎片的意思,这个Python的爬虫框架叫Scrapy。

2,如何安装

ubuntu基于python3的安装

相关依赖包
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

   sudo apt-get install python3 python3-dev

   sudo rm -rf /usr/local/lib/python3.5/dist-packages/OpenSSL/
   sudo apt install --reinstall python-openssl

sudo python3 -m pip install Scrapy

安装完成运行scrapy查看 

scrapy学习--安装

标签:ges   抓取   rap   最新版   web   新版本   依赖包   b站   nss   

原文地址:https://www.cnblogs.com/jack-jt-z/p/10474317.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!