简介： 网络爬虫（又被称为网页蜘蛛)，网络机器人，是一种按照一定的规则，自动地抓信息的程序或者脚本。假设互联网是一张很大的蜘蛛网，每个页面之间都通过超链接这根线相互连接，那么我们的爬虫小程序就能够通过这些线不断的搜寻到新的网页。 Python作为一种代表简单主义思想的解释型、面向对象、功能强大的高级 ...
分类：
编程语言 时间：
2021-06-22 18:34:26
阅读次数：
0
1、.什么是Scrapy? Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载，队列，分布式，解析，持久化等)的具有很强通用性的项目模板。 2、环境安装： Linux安装： pip install scrap ...
分类：
编程语言 时间：
2020-06-23 01:03:35
阅读次数：
71
题目： "Exercise: Web Crawler" 直接参考了 的实现，不过该代码使用了chan bool来存放子协程是否执行完成，我的代码是使用WaitGroup来让主协程等待子协程执行完成。 完整代码请参考 请注意对于WaitGroup的处理参考了 "Golang中WaitGroup使用的一 ...
分类：
Web程序 时间：
2020-02-23 19:58:34
阅读次数：
94
requests请求，就是用python的requests模块模拟浏览器请求，返回html源码 模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求 一、不需要用户登录或者验证的请求 这种比较简单，直接利用requests模块发一个请求即可拿到html源码 #! ...
分类：
Web程序 时间：
2019-12-08 00:49:57
阅读次数：
128
在帮自家亲戚做app爬虫的过程中发现了了一位搞爬虫的牛人。 我一直在摸索一种能够像web爬虫一样，方便爬取app信息的方法。最近刚刚摸到头绪。主要是有Airtest这个趁手的兵器，有了它App信息的抓取跟Web上信息抓取没啥区别了。 得益于下面这篇文章 https://www.kingname.in ...
分类：
其他好文 时间：
2019-10-19 00:32:41
阅读次数：
76
爬取页面；递归：解析HTML，遍历HTML节点数；defer：获取页面的tittle，将页面保存到文件；匿名函数：解析链接，图的遍历；并发的Web爬虫示例：限制并发，程序退出，限制并发的另一个方案，深度限制；取消操作：取消广播，关闭HTTP请求；请求镜像资源
分类：
其他好文 时间：
2019-05-14 00:46:04
阅读次数：
102
简介pyspider是Python中强大Web爬虫框架，并且支持分布式架构。为什么使用docker搭建pyspider在安装pyspider时爬过一些坑，比如使用pipinstallpyspider时，python的版本要求在3.6及以下，因为async等已经是python3.7的关键字；使用gitclone代码安装pyspider,python3setup.pyintall,使用过程会遇到ssl
分类：
其他好文 时间：
2019-05-01 22:32:36
阅读次数：
440
urllib包提供了一个高级接口,用于编写需要与HTTP服务器、FTP服务器和本地文件交互的客户端。典型的应用程序包括从网页抓取数据、自动化、代理、Web爬虫等。 1. urllib.request \(\) 该模块最常见的用途是通过HTTP从Web服务器获取数据。 urlopen\(url \[, ...
分类：
Web程序 时间：
2019-04-21 12:55:47
阅读次数：
160
一、urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 简介：urllib.request.urlopen()函数用于实现对目标ur ...
分类：
Web程序 时间：
2019-03-16 12:39:13
阅读次数：
220
Beautiful Soup官方说明： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转 ...
分类：
Web程序 时间：
2019-03-15 19:10:28
阅读次数：
186
