接口自动化测试三部曲：1、构造请求 2、判断结果 3、数据库查询 1、Python的第三方包：requests 简介：requests可以用来做接口测试、接口自动化测试、爬虫等 requests的环境搭建：管理员身份在cmd运行：pip3 install requests -i https://py ...
分类：
编程语言 时间：
2020-11-18 13:19:45
阅读次数：
23
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云，作者：张凝可 很多网站为了避免被恶意访问，需要设置验证码登录，避免非人类的访问，Python爬虫实现验证码登录的原理则是先到登录页面将生成的验证码保存下来，然后 ...
分类：
编程语言 时间：
2020-11-18 13:00:48
阅读次数：
12
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云，作者：周小董 重定向问题 在使用python爬虫的过程中难免会遇到很多301，302的问题。他们出现时，很大程度的影响到我们的爬虫速度和信息的准确性。下面针对不 ...
分类：
编程语言 时间：
2020-11-18 12:55:55
阅读次数：
8
可能99%的同学不做搜索引擎，但99%的同学一定实现过检索功能。搜索，检索，这里面到底包含哪些技术的东西，希望本文能够给大家一些启示。全网搜索引擎架构与流程如何？全网搜索引擎的宏观架构如上图，核心子系统主要分为三部分（粉色部分）：（1）spider爬虫系统；（2）search&index建立索引与查询索引系统，这个系统又主要分为两部分：一部分用于生成索引数据build_index一部分用于
分类：
其他好文 时间：
2020-11-16 13:57:29
阅读次数：
12
一.关于爬虫爬虫，是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。反爬虫，从不是将爬虫完全杜绝；而是想办法将爬虫的访问量限制在一个可接纳的范围，不要让它过于频繁。二.提高爬虫效率的方法协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。多进程。使用CPU的多个核，使用几个核就能提高几倍。多线程。将任务分成多个，并发（交替）的执行。分布式爬虫。让多个设备去跑同
分类：
其他好文 时间：
2020-11-12 14:10:38
阅读次数：
9
自学过编程的小伙伴都知道，在学习的过程中，不仅仅要记下很多的知识点，而且那些知识点，都是非常的干，很干，很干，没有一点乐趣的感觉..... 所以在很多人学习Python的人，也许他的基础知识还没有学好，就会选择去看一些爬虫的案例，然后也会自己尝试的去写一些爬虫的案例，但是一碰见BUG 就不知道怎么办 ...
分类：
编程语言 时间：
2020-11-12 13:57:26
阅读次数：
12
终于要开始写爬虫代码了 我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块： 第一个模块 request，它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给 ...
分类：
编程语言 时间：
2020-11-12 13:45:18
阅读次数：
5
Web抓取的使用正在积极增加，特别是在大型电子商务公司中，Web抓取是一种收集数据以竞争，分析竞争对手和研究新产品的方式。Web抓取是一种从网站提取信息的方法。在本篇文章中，学习如何创建基于Python的刮板。深入研究代码，看看它是如何工作的。在当今的大数据世界中，很难跟踪正在发生的一切。对于需要大量信息才能取得成功的企业来说，情况变得更加复杂。但是首先，他们需要以某种方式收集此数据，这意味着他们
分类：
编程语言 时间：
2020-11-12 13:38:18
阅读次数：
7
## 简单爬虫 最近参加了长风杯数据挖掘竞赛，队内分工后我选择数据获取这一项任务。 ### 1、选取目标页面 https://space.bilibili.com/546195/video ### 2、利用Element检查工具寻找需求数据 ### 3、通过搜索查找api ### 4、在termin ...
分类：
其他好文 时间：
2020-11-08 17:12:03
阅读次数：
21
bug问题： 近期公司查看图片的插件总是bug异常，领导发令更换这个“灯箱效果”，在网上像爬虫一下寻觅了好久，终于找到一个漂亮的插件：强大的jQuery图片查看器插件Viewer.js 感觉技术没啥问题——咨询领导意见——领导反馈ok——开始移植——本地移植成功（开心，小问题不要慌）——移交后端大佬 ...
分类：
Web程序 时间：
2020-11-07 15:49:46
阅读次数：
27
