自学过编程的小伙伴都知道，在学习的过程中，不仅仅要记下很多的知识点，而且那些知识点，都是非常的干，很干，很干，没有一点乐趣的感觉..... 所以在很多人学习Python的人，也许他的基础知识还没有学好，就会选择去看一些爬虫的案例，然后也会自己尝试的去写一些爬虫的案例，但是一碰见BUG 就不知道怎么办 ...
分类：
编程语言 时间：
2020-11-12 13:57:26
阅读次数：
12
终于要开始写爬虫代码了 我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块： 第一个模块 request，它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给 ...
分类：
编程语言 时间：
2020-11-12 13:45:18
阅读次数：
5
Web抓取的使用正在积极增加，特别是在大型电子商务公司中，Web抓取是一种收集数据以竞争，分析竞争对手和研究新产品的方式。Web抓取是一种从网站提取信息的方法。在本篇文章中，学习如何创建基于Python的刮板。深入研究代码，看看它是如何工作的。在当今的大数据世界中，很难跟踪正在发生的一切。对于需要大量信息才能取得成功的企业来说，情况变得更加复杂。但是首先，他们需要以某种方式收集此数据，这意味着他们
分类：
编程语言 时间：
2020-11-12 13:38:18
阅读次数：
7
下载地址：基于SpringCloud+Kubernetes，微服务的容器化持续交付实战第1章课程导学本章主要介绍为何要带大家学习微服务的容器化持续交付实战课程，之后会为大家介绍本课程内容具体安排，最后给出如何学好这门课程的一些学习建议。希望大家都能通过这门课程，学有所成，学有所归。1-1课前必读（不看会错过一个亿）1-2课程介绍及学习指导试看第2章持续交付方法本章将会介绍持续交付的定义和互联网公司
分类：
编程语言 时间：
2020-11-11 16:20:17
阅读次数：
11
1.责任描述（通用） 1.根据客户的需求规格书找出功能点和测试点,用X-mind编写测试需求分析思维导图; 2.根据测试需求分析思维导图编写测试用例; 3.参与测试需求、测试计划、测试方案、 测试用例的评审; 4.利用Selenium对核心功能进行自动化测试,使用unittest 单元测试框架做脚本 ...
分类：
其他好文 时间：
2020-11-08 18:00:06
阅读次数：
40
## 简单爬虫 最近参加了长风杯数据挖掘竞赛，队内分工后我选择数据获取这一项任务。 ### 1、选取目标页面 https://space.bilibili.com/546195/video ### 2、利用Element检查工具寻找需求数据 ### 3、通过搜索查找api ### 4、在termin ...
分类：
其他好文 时间：
2020-11-08 17:12:03
阅读次数：
21
bug问题： 近期公司查看图片的插件总是bug异常，领导发令更换这个“灯箱效果”，在网上像爬虫一下寻觅了好久，终于找到一个漂亮的插件：强大的jQuery图片查看器插件Viewer.js 感觉技术没啥问题——咨询领导意见——领导反馈ok——开始移植——本地移植成功（开心，小问题不要慌）——移交后端大佬 ...
分类：
Web程序 时间：
2020-11-07 15:49:46
阅读次数：
27
一、数字反爬 乱码的原因：style中加载了字体文件，这字体文件中包含着加密方法大致思路： 1、请求页面 2、获取加密的字体库 3、解析字体库，获取字体间的映射关系 4、获取加密的字体，获取字体间映射关系，一一对应 #!/usr/bin/env python3 # -*- coding:utf-8 ...
分类：
其他好文 时间：
2020-11-07 15:31:05
阅读次数：
20
Scraoy入门实例一 Scrapy介绍与安装&PyCharm的安装&项目实战 一、Scrapy的安装 1.Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说,网络抓 ...
分类：
Web程序 时间：
2020-11-02 10:39:55
阅读次数：
47
从事互联网工作，HTTP代理和IP代理相信都很熟悉。因为在大家工作的时候，一些领域或者功能需要通过代理软件来完成。虽然这个软件不是一定要使用，但是如果不用不仅会让工作效率变低，爬虫工作者在数据采集的时候时候还会有非常大的几率IP被封。使用http避免ip封禁提升工作效率。IPIDEA分布国内外240+国家地区地址，支持api提取，可满足分布式爬虫使用需要。HTTP代理和IP代理的功能有着相同之处，
分类：
Web程序 时间：
2020-11-02 09:49:41
阅读次数：
30
