高性能异步爬虫 引入 很多同学对于异步这个概念只是停留在了“听说很NB”的认知层面上，很少有人能够在项目中真正的使用异步实现高性能的相关操作。本节课，咱们就一起来学习一下，爬虫中如何使用异步实现高性能的数据爬取操作。 背景 其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们 ...
分类：
其他好文 时间：
2020-07-11 17:07:52
阅读次数：
51
18.增量式爬虫 增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能 ...
分类：
其他好文 时间：
2020-07-11 16:56:54
阅读次数：
54
爬虫面试案例系列01 ### 需求：爬取https://m.vmall.com/help/hnrstoreaddr.htm荣耀线下门店中的门店详情信息。页面显示如下： - 首页显示 - 详情页显示 ### 基于抓包工具分析如下： - ### 查看定位到数据包的请求头信息： - 请求的url和请求方式 ...
分类：
其他好文 时间：
2020-07-11 16:45:09
阅读次数：
62
08.Python网络爬虫之图片懒加载技术、selenium和PhantomJS 引入 今日概要 图片懒加载 selenium phantomJs 谷歌无头浏览器 知识点回顾 验证码处理流程 今日详情 动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.c ...
分类：
编程语言 时间：
2020-07-11 14:21:38
阅读次数：
98
#简介 网络爬虫是一种按照一定的规则自动的抓取网页上面的信息的一种程序或脚本。 使用httpclient和jsoup可以爬虫网页信息。 ###httpclient get请求 public static void main(String[] args) throws IOException { // ...
分类：
编程语言 时间：
2020-07-11 12:39:42
阅读次数：
53
import zipfile with zipfile.ZipFile(r'E:/Python爬虫精进.zip','r') as f: for 文件名 in f.namelist(): 信息=f.getinfo(文件名) 文件名=文件名.encode('cp437').decode('gbk') p ...
分类：
其他好文 时间：
2020-07-11 12:28:20
阅读次数：
76
go-snowflake 在单机系统中我们会使用自增id作为数据的唯一id，自增id在数据库中有利于排序和索引，但是在分布式系统中如果还是利用数据库的自增id会引起冲突，自增id非常容易被爬虫爬取数据。在分布式系统中有使用uuid作为数据唯一id的，但是uuid是一串随机字符串，所以它无法被排序。 ...
分类：
其他好文 时间：
2020-07-11 11:17:30
阅读次数：
138
import requestsimport timeimport reimport os"""歌手字典"""song_dict = {}def song_static(): """采集静态页面url和歌手""" try: response = requests.get('http://www.9ku ...
分类：
Web程序 时间：
2020-07-11 11:16:32
阅读次数：
105
import asyncio from pyppeteer import launch from pyquery import PyQuery as pq async def main(): browser = await launch() page = await browser.newPage( ...
分类：
系统相关 时间：
2020-07-11 11:14:06
阅读次数：
130
1.通讯协议 1.1 端口 我们想要进行数据通讯分几步? 1. 找到对方ip 2. 数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做 端口。这里的端口 我们一般都叫做 '逻辑端口' 3. 定义通讯规则。这个通讯规则我们一般称 ...
分类：
编程语言 时间：
2020-07-10 21:15:25
阅读次数：
102
