一.关于爬虫爬虫，是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。反爬虫，从不是将爬虫完全杜绝；而是想办法将爬虫的访问量限制在一个可接纳的范围，不要让它过于频繁。二.提高爬虫效率的方法协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。多进程。使用CPU的多个核，使用几个核就能提高几倍。多线程。将任务分成多个，并发（交替）的执行。分布式爬虫。让多个设备去跑同
分类：
其他好文 时间：
2020-11-12 14:10:38
阅读次数：
9
自学过编程的小伙伴都知道，在学习的过程中，不仅仅要记下很多的知识点，而且那些知识点，都是非常的干，很干，很干，没有一点乐趣的感觉..... 所以在很多人学习Python的人，也许他的基础知识还没有学好，就会选择去看一些爬虫的案例，然后也会自己尝试的去写一些爬虫的案例，但是一碰见BUG 就不知道怎么办 ...
分类：
编程语言 时间：
2020-11-12 13:57:26
阅读次数：
12
终于要开始写爬虫代码了 我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块： 第一个模块 request，它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给 ...
分类：
编程语言 时间：
2020-11-12 13:45:18
阅读次数：
5
Web抓取的使用正在积极增加，特别是在大型电子商务公司中，Web抓取是一种收集数据以竞争，分析竞争对手和研究新产品的方式。Web抓取是一种从网站提取信息的方法。在本篇文章中，学习如何创建基于Python的刮板。深入研究代码，看看它是如何工作的。在当今的大数据世界中，很难跟踪正在发生的一切。对于需要大量信息才能取得成功的企业来说，情况变得更加复杂。但是首先，他们需要以某种方式收集此数据，这意味着他们
分类：
编程语言 时间：
2020-11-12 13:38:18
阅读次数：
7
## 简单爬虫 最近参加了长风杯数据挖掘竞赛，队内分工后我选择数据获取这一项任务。 ### 1、选取目标页面 https://space.bilibili.com/546195/video ### 2、利用Element检查工具寻找需求数据 ### 3、通过搜索查找api ### 4、在termin ...
分类：
其他好文 时间：
2020-11-08 17:12:03
阅读次数：
21
Pandas这个库对Python来说太重要啦！因为它的出现，让Python进行数据分析如虎添翼，作为Python里面最最牛逼的库之一，它在数据处理和数据分析方面，拥有极大的优势，受到数据科学开发者的广大欢迎。 最近在逛GitHub的时候，发现了一款神器，一款神器分析Pandas DataFrames ...
分类：
其他好文 时间：
2020-11-08 16:45:05
阅读次数：
22
bug问题： 近期公司查看图片的插件总是bug异常，领导发令更换这个“灯箱效果”，在网上像爬虫一下寻觅了好久，终于找到一个漂亮的插件：强大的jQuery图片查看器插件Viewer.js 感觉技术没啥问题——咨询领导意见——领导反馈ok——开始移植——本地移植成功（开心，小问题不要慌）——移交后端大佬 ...
分类：
Web程序 时间：
2020-11-07 15:49:46
阅读次数：
27
一、数字反爬 乱码的原因：style中加载了字体文件，这字体文件中包含着加密方法大致思路： 1、请求页面 2、获取加密的字体库 3、解析字体库，获取字体间的映射关系 4、获取加密的字体，获取字体间映射关系，一一对应 #!/usr/bin/env python3 # -*- coding:utf-8 ...
分类：
其他好文 时间：
2020-11-07 15:31:05
阅读次数：
20
关于概念的东西，其实官网说的很全，对于个人理解就是，flink、spark等等大数据处理平台就是把原来需要我们自己实现的功能，全部框架封装好，像是跨机器的大规模计算、内存/cpu等等资源管理、状态管理(锁还有恢复机制等等）框架全部封装好了，作为开发来说就只需要关心自己要实现的业务就可以了以下内容来自官网，从3个方面介绍Flink：架构ApacheFlink是一个框架和分布式处理引擎，用于在无边界和
分类：
其他好文 时间：
2020-11-06 02:27:17
阅读次数：
21
离散化的认识 离散化，一种常见的数据处理技巧，可以有效的降低时间复杂度，可以做到将一些低效的算法进行改进，甚至拟造出一些不可能的算法，使其速度大为提高。 离散化的基本思想就是将一些巨大的范围内，挑选出要用的值，再进行处理。 离散化的处理 注：对数据进行离散化处理的前提是这些数据只于他们的相对大小有关 ...
分类：
其他好文 时间：
2020-11-06 01:15:21
阅读次数：
15
