一丶scrapy的图片数据爬取（流数据的爬取） ? scrapy中封装好了一个管道类（ImagesPipeline），基于该管道类可以实现图片资源的请求和持久化存储 编码流程： 爬虫文件中解析出图片的地址 将图片地址封装到item中且提交给管道 管道文件中自定义一个管道类（父类：ImagesPipe ...
分类：
编程语言 时间：
2019-10-16 00:16:43
阅读次数：
187
1.主要用到的函数及调用的顺序为： __init__()：初始化爬虫名字，和start_urls列表 start_requests()调用make_requests_from_url()：生成request对象交给scrapy下载并返回response parse()：解析response，并返回I ...
分类：
其他好文 时间：
2019-10-14 15:08:09
阅读次数：
138
出现图中错误的原因是： <ignore_js_op> 原因为版本不一致导致的，可以通过以下方法解决： 运行以下命令更新pyasn1 sudopip3 install --upgrade pyasn1 运行以下命令更新pyasn1 sudopip3 install --upgrade pyasn1 更 ...
分类：
其他好文 时间：
2019-10-14 12:39:49
阅读次数：
81
临时使用： 可以在使用pip的时候在后面加上-i参数，指定pip源 eg: pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple 永久修改： linux: 修改 ~/.pip/pip.conf (没有就创建一个然后用vim打开) ...
分类：
其他好文 时间：
2019-10-13 20:41:38
阅读次数：
131
1.scrapy shell [要爬取的网址]他可以很直观的反馈给你要定位的元素是否可以定位到2.打开后然后再把：response.xpath("//*[@id=\"ml_001\"]/table/tbody/tr[1]/td[1]/a/text()").extract()；语句写入，看如果可以返回 ...
分类：
其他好文 时间：
2019-10-13 16:55:46
阅读次数：
95
框架 scrapy 框架 环境的安装 基本使用 ...
分类：
其他好文 时间：
2019-10-12 20:38:04
阅读次数：
92
Python分布式爬虫必学框架Scrapy打造搜索引擎 本文建立在学习完大壮老师视频Python最火爬虫框架Scrapy入门与实践,自己一步一步操作后做一个记录(建议跟我一样的新手都一步一步进行操作).主要介绍:1、scrapy框架简介、数据在框架内如何进行流动2、scrapy框架安装、mongod ...
分类：
编程语言 时间：
2019-10-12 01:15:06
阅读次数：
304
写在前面 自学爬虫入门之后感觉应该将自己的学习过程整理一下，也为了留个纪念吧。 scrapy环境的配置还请自行百度，其实也不难（仅针对windows系统，centos配置了两天，直到现在都没整明白） 就是安装python之后下载pip，setup pip，然后用pip install下载就行了（py ...
分类：
系统相关 时间：
2019-10-10 17:29:02
阅读次数：
110
CrawlSpiders类 创建爬虫： scrapy genspider -t crawl tencent tencent.com from scrapy.linkextractors import LinkExtractor link_list = LinkExtractor(allow=("st ...
分类：
其他好文 时间：
2019-10-10 11:16:17
阅读次数：
70
什么叫做分布式爬虫？ 分布式爬虫，就是多台机器共用一个scrapy—redis程序高效爬取数据， 为啥要用分布式爬虫？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的 ...
分类：
其他好文 时间：
2019-10-09 23:47:49
阅读次数：
104
