码迷,mamicode.com
首页 > 编程语言 > 详细

python爬虫—使用scrapy爬虫框架

时间:2017-07-01 19:28:01      阅读:187      评论:0      收藏:0      [点我收藏+]

标签:error   爬虫框架   爬虫   开始   作用   pyw   提示符   erro   files   

问题1.使用scrapy框架,使用命令提示符pip命令下载scrapy后,却无法使用scrapy命令,出现scrapy不是内部或外部命令。也不是可运行的程序

 解决:一开始,我是把python安装在D:\python,安装了scrapy后他默认都会装在此路径下,然后scrapy在路径D:\python\Scripts路径下,而创建工程也只能在此目录下。

如果想让他在dos下想要命令运行成功的话,就的需要知道他在那里,那么这又得学习到环境变量path的作用。所以这就得在path上添加scrapy的地址

具体操作:开始>控制面板>系统>高级系统设置>环境变量>系统变量>path>在v那一栏添加包含scrapy路径的所有主从地址(注意在原地址最后加;所有;均为英文;)我的就是添加D:\python\;D:\python\Scripts;D:\python\Lib\site--packages\OpenSSL

完美解决

 

 

问题2:上述问题解决后,运行scrapy爬虫程序,结果出现import: no module named win32api

解决:Python是没有自带访问windows系统API的库的,需要下载。库的名称叫pywin32,可以从网上直接下载。

以下链接地址可以下载:http://sourceforge.net/projects/pywin32/files%2Fpywin32/   (下载适合你的python版本)

运行以下代码如果出现ImportError: No module named win32api 或者出现 ImportError: No module named win32con,说明你的库没有安装好。

介绍这个库里面最重要的两个模块:win32api和win32con,另外一种较简单的是使用pip命令,下载win32。

**具体操作:运行命令安装模块: pip install pypiwin32

然后运行程序,完美解决。。。

以上是今天学习python爬虫scrapy时遇到的2个大问题,在网上搜索了很多解决办法,在实际操作过程中,以上两个解决办法成功解决,程序也成功运行

python爬虫—使用scrapy爬虫框架

标签:error   爬虫框架   爬虫   开始   作用   pyw   提示符   erro   files   

原文地址:http://www.cnblogs.com/bebox/p/7103000.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!