###1.爬虫的概念 (1)爬虫又叫网页蜘蛛，是模拟人操作客户端向服务器发起请求，抓取数据的自动化程序或脚本。 (2)说明: ① 模拟:用爬虫程序伪装出人的行为，避免被服务器识别为爬虫程序； ② 客户端:浏览器、app都可以实现人与服务器之间的交互行为，应用客户端从服务器获取数据； ③ 自动化: 数 ...
分类：
其他好文 时间：
2020-08-09 21:34:13
阅读次数：
92
报错HttpConnectinPool:原因： 1.短时间内发起了高频的请求导致ip被禁。 2.发送高频的请求且请求成功后没有被及时断开，导致http连接池（http连接对象）中的连接资源被耗尽。 解决： 1.代理 2.headers中加入Conection:"close"，表示请求后连接立即断开。 ...
分类：
其他好文 时间：
2020-08-09 21:33:20
阅读次数：
96
#Java学习之文件io流篇 0x00 前言 在平时的一些开发中，普遍都会让脚本运行的时候，去存储一些脚本运行结果的数据，例如开发一个爬虫，这时候我们爬取下来的内容，就需要存储到本地，那么这时候就会用到一些操作文件的类。 0x01 File 类 File类主要用于文件和目录创建、查找、删除等操作的。 ...
分类：
编程语言 时间：
2020-08-08 20:08:00
阅读次数：
78
1. 流程分析 1.1 分析目标地址分页的情况 第一页：https://域名/分类/index.html 第二页：https://域名/分类/index_2.html 第三页：https://域名/分类/index_3.html 即可得出目标分页的规律 1.2 分析某一页各个项的特征 观察得出每一项 ...
分类：
其他好文 时间：
2020-08-07 12:38:25
阅读次数：
67
11.1 Charles 的使用 Charles 是一个网络抓包工具，我们可以用它来做 App 的抓包分析，得到 App 运行过程中发生的所有网络请求和响应内容，这就和 Web 端浏览器的开发者工具 Network 部分看到的结果一致。 相比 Fiddler 来说，Charles 的功能更强大，而且 ...
分类：
编程语言 时间：
2020-08-06 23:14:56
阅读次数：
104
首先我们封装一个Http请求的工具类，用HttpURLConnection实现，当然你也可以用HttpClient,或者直接用Jsoup来请求（下面会讲到Jsoup）。工具类实现比较简单，就一个get方法，读取请求地址的响应内容，这边我们用来抓取网页的内容，这边没有用代理，在真正的抓取过程中，当你大量请求某个网站的时候，对方会有一系列的策略来禁用你的请求，这个时候代理就排上用场了，通过代理设置不同
分类：
编程语言 时间：
2020-08-03 23:23:49
阅读次数：
86
前言 在完成爬虫任务的时候，我们总是会遇到用户账号登陆的问题，如果自己手动登陆的话，那么工作量就很大了，如何解决登陆问题呢？ 今天老师带领大家使用selenium完成淘宝账号登陆 本篇文章知识点： selenium自动化测试框架的基本使用 通过xpath寻找相应组件并自动化操作 环境介绍： pyth ...
分类：
编程语言 时间：
2020-08-01 21:30:27
阅读次数：
104
爬虫介绍 # 介绍爬虫 2 urilib3（内置，不好用），requests--模拟发送http请求 3 Beautifulsoup解析，xpth解析 4 selenium模块，操作浏览器 5 Mongodb 6 反爬：代理池，cookie池，请求头中：user-agent，refer，js逆向 7 ...
分类：
其他好文 时间：
2020-07-31 21:46:31
阅读次数：
87
1、什么是信息头？请求头 2、什么时候用？Cookie token 3、我们的场景设计？反爬虫添加信息头 模拟浏览器发送请求 user--agent 4、范围：分为全局和局部的吗？有全局和局部之分 (1)http信息头管理器如果放在某个http请求下，则只对该http请求生效 (2)http信息头管 ...
分类：
Web程序 时间：
2020-07-29 17:31:45
阅读次数：
106
本篇目标 抓取淘宝MM的姓名，头像，年龄 抓取每一个MM的资料简介以及写真图片 把每一个MM的写真图片按照文件夹保存到本地 熟悉文件保存的过程 PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取 1.URL的格式 在这里我们用到的URL是 http://mm.taobao.c ...
分类：
编程语言 时间：
2020-07-28 17:14:57
阅读次数：
88
