高性能异步爬虫 目的：在爬虫中使用异步实现高性能的数据爬取操作。 异步爬虫的方式： - 多线程、多进程（不建议）： - 好处：可以为相关阻塞的阻塞单独开启线程或者进程，阻塞操作就可以异步执行。 - 弊端：无法无限制的开启多线程或者多进程。 - 线程池、进程池（适当使用）： - 好处：可以降系统对进程 ...
分类：
其他好文 时间：
2020-07-28 09:59:36
阅读次数：
66
大部分的网站展示的数据都进行了分页操作，那么将所有页码对应的页面数据进行爬取就是爬虫中的全站数据爬取。 基于scrapy如何进行全站数据的爬取? 使用request方法，给callback传参(函数), 函数解析请求回来的数据，实现全站数据爬取 爬虫文件 import scrapy from lea ...
分类：
其他好文 时间：
2020-07-27 17:41:42
阅读次数：
69
开发技术 flaskscrapymysqlecharts 运行截图 ...
分类：
编程语言 时间：
2020-07-27 13:56:51
阅读次数：
92
# 设置爬虫的用户代理池以及ip代理池 import urllib.request import random def set_user_ip_proxy(): #设置用户代理池 header_list = ["Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv ...
分类：
Web程序 时间：
2020-07-27 09:27:04
阅读次数：
116
0. 摘要 0.1 添加依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency> 0. ...
分类：
编程语言 时间：
2020-07-26 15:44:20
阅读次数：
108
一、python爬虫环境与简介 二、认识HTTP 三、简单静态网页爬取 四、常规动态网页爬取 五、模拟登陆 六、PC客户端抓包 七、Scrapy爬虫 一、python爬虫环境与简介 1、认识爬虫 （1）爬虫的概念 网络爬虫也被称为网络蜘蛛、网络机器人，是一个自动下载网页的计算机程序或自动化脚本。 网 ...
分类：
编程语言 时间：
2020-07-25 09:28:47
阅读次数：
66
这篇文章简要地介绍了一下爬虫、Scrapy框架，并讲述了一个基于Scrapy的B站爬虫小Demo。 ...
分类：
其他好文 时间：
2020-07-23 23:07:06
阅读次数：
75
案例一：解析出全国所有城市名称代码如下：importrequestsfromlxmlimportetreeif__name__=="__main__":headers={‘User-Agent‘:‘Mozilla/5.0(Macintosh;IntelMacOSX10_12_0)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.103Safar
分类：
编程语言 时间：
2020-07-23 19:04:28
阅读次数：
103
聚焦爬虫:爬取页面中指定的页面内容。编码流程：1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储数据解析分类：1.bs42.正则3.xpath(***)数据解析原理概述：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储1.进行指定标签的定位2.标签或者标签对应的属性中存储的数据值进行提取（解析）bs4进行数据解析数据解析的原理：1.标签定位2.提取标签、标签属性中存
分类：
编程语言 时间：
2020-07-22 20:21:41
阅读次数：
68
案例：使用正则爬取糗图百科图片单页面的代码importreimportrequestsimportos#创建文件夹ifnotos.path.exists(‘./qiutu‘):os.mkdir(‘./qiutu‘)headers={‘user-agent‘:‘Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)‘‘C
分类：
编程语言 时间：
2020-07-22 16:05:52
阅读次数：
79
