## 简单爬虫 最近参加了长风杯数据挖掘竞赛，队内分工后我选择数据获取这一项任务。 ### 1、选取目标页面 https://space.bilibili.com/546195/video ### 2、利用Element检查工具寻找需求数据 ### 3、通过搜索查找api ### 4、在termin ...
分类：
其他好文 时间：
2020-11-08 17:12:03
阅读次数：
21
bug问题： 近期公司查看图片的插件总是bug异常，领导发令更换这个“灯箱效果”，在网上像爬虫一下寻觅了好久，终于找到一个漂亮的插件：强大的jQuery图片查看器插件Viewer.js 感觉技术没啥问题——咨询领导意见——领导反馈ok——开始移植——本地移植成功（开心，小问题不要慌）——移交后端大佬 ...
分类：
Web程序 时间：
2020-11-07 15:49:46
阅读次数：
27
一、数字反爬 乱码的原因：style中加载了字体文件，这字体文件中包含着加密方法大致思路： 1、请求页面 2、获取加密的字体库 3、解析字体库，获取字体间的映射关系 4、获取加密的字体，获取字体间映射关系，一一对应 #!/usr/bin/env python3 # -*- coding:utf-8 ...
分类：
其他好文 时间：
2020-11-07 15:31:05
阅读次数：
20
Scraoy入门实例一 Scrapy介绍与安装&PyCharm的安装&项目实战 一、Scrapy的安装 1.Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说,网络抓 ...
分类：
Web程序 时间：
2020-11-02 10:39:55
阅读次数：
47
从事互联网工作，HTTP代理和IP代理相信都很熟悉。因为在大家工作的时候，一些领域或者功能需要通过代理软件来完成。虽然这个软件不是一定要使用，但是如果不用不仅会让工作效率变低，爬虫工作者在数据采集的时候时候还会有非常大的几率IP被封。使用http避免ip封禁提升工作效率。IPIDEA分布国内外240+国家地区地址，支持api提取，可满足分布式爬虫使用需要。HTTP代理和IP代理的功能有着相同之处，
分类：
Web程序 时间：
2020-11-02 09:49:41
阅读次数：
30
原创|最近程序员频繁被抓，如何避免面向监狱编程？！△Hollis,一个对Coding有着独特追求的人△这是Hollis的第233篇原创分享作者lHollis来源lHollis（ID：hollischuang）最近，有很多关于程序员被抓甚至被判刑的新闻在朋友圈疯传："某程序员因为接了个外包，帮别人写了个软件，结果这个软件被用于赌博导致被抓。某公司利用爬虫抓取用户信息，最后被发现，导致该公司
分类：
其他好文 时间：
2020-11-01 09:23:26
阅读次数：
17
1 为什么要做爬虫 未来软件定义世界！ 软件只是一个工具，决定软件的作用影响力的是数据 数据是软件的核心 数据量一旦达到一定的规模，价值非常高，不是一般的中小型公司可以承担的！在这样的模式下，一些数据交易公司、一些需要数据的中小型公司，就需要寻求一种成本低的数据获取手段：雇佣爬虫工程师采集数据！ 爬 ...
分类：
其他好文 时间：
2020-10-31 02:03:45
阅读次数：
19
Scrapy爬虫(三)：scrapy架构及原理 Scrapy爬虫三scrapy架构及原理 scrapy爬虫尝鲜 scrapy data flow流程图 scrapy项目结构 scrapy爬虫尝鲜 scrapy现在已经完美支持python3+，所以后面的实例我都会使用python3+的环境。首先我们来 ...
分类：
其他好文 时间：
2020-10-31 01:09:06
阅读次数：
16
Python代码库 http://yuncode.net/list/java?&p=11 Python核心编程第三版（中文版） python核心编程pdf电子书 python核心编程第三版中文版PDF，python进阶教程，包含正则，网络编程，数据库编程，GUI，Django，爬虫，云计算假设等内容 ...
分类：
编程语言 时间：
2020-10-30 11:35:20
阅读次数：
23
