字体反爬,是一种利用 CSS 特性和浏览器渲染规则实现的反爬虫手段。其高明之处在于,就算借助(Selenium 套件、Puppeteer 和 Splash)等渲染工具也无法拿到真实的文字内容。 这种反爬虫手段通常被用来保护页面中的关键数据,例如影片票房、外卖平台的商家电话、汽车门户上的车型报价或者是 ...
分类:
编程语言 时间:
2020-01-22 21:40:07
阅读次数:
97
const puppeteer = require('puppeteer'); (async () => { const fs = require("fs"); const rootUrl = 'https://www.guazi.com' const workPath = './contents' ...
分类:
Web程序 时间:
2020-01-15 23:20:10
阅读次数:
117
https://www.jianshu.com/p/6a07fbd5b299 https://www.jianshu.com/p/c24bdf176f42?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source= ...
分类:
其他好文 时间:
2020-01-13 14:37:32
阅读次数:
71
优点简单,不需要工程,不用puppeteer生成骨架dom,也不需要二次开发维护定制程度高,想怎么搞就怎么搞不臃肿,只给你想要的缺点自动化程度低,需要在骨架dom上手动添加类协同要求高,不像工程化能通过工程去约束思路通过伪元素实现骨架样式,通过操作样式实现骨架和页面的动态切换实现css部分(scss写法)通过after伪元素生成骨架样式,并通过absolute覆盖到实际元素上专门建立的学习Q-q-
分类:
Web程序 时间:
2020-01-03 00:21:33
阅读次数:
282
参照链接 https://www.jianshu.com/p/26e7df6d5683 上文内容需要注意的是:chromium安装包解压到puppeteer中的 .local-chromium/win64-{chromium版本号}/ ,而不是下划线命名的文件名 .local_chromium/wi ...
分类:
其他好文 时间:
2019-12-28 19:22:07
阅读次数:
196
更多云原生技术资讯可关注 "阿里巴巴云原生技术圈" 。 Puppeteer 是什么? "puppeteer 官网" 的介绍如下: Puppeteer is a Node library which provides a high level API to control Chrome or Chro ...
分类:
Web程序 时间:
2019-12-13 10:45:58
阅读次数:
241
【发现问题】 最近安装了ts 之后,puppeteer 就无法使用了,运行脚本的时候,提示: module.js:545 Error: Cannot find module 'puppeteer' 【解决过程】 在网上没找到对应问题解决方案,于是尝试重新安装。 因为问题是发生在安装了ts 之后,于是 ...
分类:
Web程序 时间:
2019-11-17 14:46:32
阅读次数:
85
const element = await page.$("#id"); if (element) console.log('对象存在') else console.log('对象不存在') ...
分类:
其他好文 时间:
2019-11-16 17:35:47
阅读次数:
110
> 博客: https://github.com/zhaojunlike ...
分类:
其他好文 时间:
2019-10-24 10:10:05
阅读次数:
88
前言:做个小小的数据分析平台,检验下学习成果。 使用的技术知识: 数据爬取:puppeteer; 数据存储:mongodb; 路由控制:koa; 渲染引擎:ejs; 渲染框架:bootstrap。 设计图:(手画的,丑了点) 待完善!!! ...
分类:
其他好文 时间:
2019-10-13 15:17:45
阅读次数:
88