码迷,mamicode.com
首页 > 编程语言 > 详细

python3之scrapy安装使用

时间:2018-12-11 19:52:36      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:https   win32   mod   split()   site   .exe   卸载   tar   nload   

需要安装的包

pip install scrapy selenium 

可能需要卸载重装的模块   lxml cryptography  cffi  pypiwin32

pip uninstall xxx

pip install xxx

下载安装chromedriver,它的版本要和chrome版本对应起来,在win10上如果出现权限错误,先手工运行一下就好。

ChromeDriver 2.44
 
Supports Chrome v69-71

地址为: https://sites.google.com/a/chromium.org/chromedriver/downloads

 

在scrapy.cfg同级目录下创建启动文件start.py

from scrapy import cmdline


cmdline.execute("scrapy crawl project".split())

spider.browser.implicitly_wait(10),这个是智能等待
scrapy.http.Request(url=req_url, meta={"mode" : "rate"}, callback=self.htmlparse, dont_filter=True) dont_filter这个是允许重复,不去重的。

python3之scrapy安装使用

标签:https   win32   mod   split()   site   .exe   卸载   tar   nload   

原文地址:https://www.cnblogs.com/zxpo/p/10104310.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!