一、数字反爬 乱码的原因：style中加载了字体文件，这字体文件中包含着加密方法大致思路： 1、请求页面 2、获取加密的字体库 3、解析字体库，获取字体间的映射关系 4、获取加密的字体，获取字体间映射关系，一一对应 #!/usr/bin/env python3 # -*- coding:utf-8 ...
分类：
其他好文 时间：
2020-11-07 15:31:05
阅读次数：
20
一、环境准备（此处设备使用window10系统） 1、node安装，安装地址为nodejs官网（http://nodejs.cn/download/） 这里根据自己的设备选择对应的版本，下载下来后，直接安装即可。 2、检查是否装好 打开cmd，输入 node -v ，如果下面显示出了版本号，即为安装 ...
分类：
其他好文 时间：
2020-11-06 02:41:18
阅读次数：
65
1.环境搭建 1.1安装node.js 下载地址：https://nodejs.org/en/download/ 安装后校验：node -v、npm -v 1.2安装Cypress方法1：npm 创建Cypress_demo文件夹：mkdir Cypress_project 命令行进入文件夹：cd ...
分类：
其他好文 时间：
2020-11-06 01:44:55
阅读次数：
18
一、中间件简介 ? express本身功能极简，其他功能主要靠中间件来实现。中间件是封装了一个request对象和response对象的函数。 中间件的使用放在 app.use( ) 中。 二、静态资源服务中间件 app.use(express.static("./public")); 三、错误路由 ...
分类：
其他好文 时间：
2020-11-04 18:22:03
阅读次数：
24
一、express框架 官网：https://www.expressjs.com.cn/ 基于node.js的极简、开放、快速的web开发框架。express在后台的受欢迎程度就行jquery，是企业事实的标准。 1）express 安装 ? npm i express 或者 npm install ...
分类：
移动开发 时间：
2020-11-04 18:21:30
阅读次数：
27
Scraoy入门实例一 Scrapy介绍与安装&PyCharm的安装&项目实战 一、Scrapy的安装 1.Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说,网络抓 ...
分类：
Web程序 时间：
2020-11-02 10:39:55
阅读次数：
47
从事互联网工作，HTTP代理和IP代理相信都很熟悉。因为在大家工作的时候，一些领域或者功能需要通过代理软件来完成。虽然这个软件不是一定要使用，但是如果不用不仅会让工作效率变低，爬虫工作者在数据采集的时候时候还会有非常大的几率IP被封。使用http避免ip封禁提升工作效率。IPIDEA分布国内外240+国家地区地址，支持api提取，可满足分布式爬虫使用需要。HTTP代理和IP代理的功能有着相同之处，
分类：
Web程序 时间：
2020-11-02 09:49:41
阅读次数：
30
一, 为什么学习node https://nodejs.org/en/下载官网 能够了解后台，可以和后端的程序员更加紧密的配合 前段人员至少需要一门后端技术的掌握（ajax） 扩展视野 二,node是什么？ node不是一门语言，而是一个开发平台，是一个基于chromeV8引擎。 开发平台：有对应的 ...
分类：
其他好文 时间：
2020-11-01 09:41:26
阅读次数：
13
原创|最近程序员频繁被抓，如何避免面向监狱编程？！△Hollis,一个对Coding有着独特追求的人△这是Hollis的第233篇原创分享作者lHollis来源lHollis（ID：hollischuang）最近，有很多关于程序员被抓甚至被判刑的新闻在朋友圈疯传："某程序员因为接了个外包，帮别人写了个软件，结果这个软件被用于赌博导致被抓。某公司利用爬虫抓取用户信息，最后被发现，导致该公司
分类：
其他好文 时间：
2020-11-01 09:23:26
阅读次数：
17
1 为什么要做爬虫 未来软件定义世界！ 软件只是一个工具，决定软件的作用影响力的是数据 数据是软件的核心 数据量一旦达到一定的规模，价值非常高，不是一般的中小型公司可以承担的！在这样的模式下，一些数据交易公司、一些需要数据的中小型公司，就需要寻求一种成本低的数据获取手段：雇佣爬虫工程师采集数据！ 爬 ...
分类：
其他好文 时间：
2020-10-31 02:03:45
阅读次数：
19
