由于项目需要搭建一个node服务器，用来做html模板渲染，以及将渲染结果转化为pdf或者png。项目已放在GitHub，查看源码，请点这里。经过一段时间的调研，主要对比了两个工具。一个是chrome官方提供的无头浏览器node包，puppeteer，另一个是命令行工具wkhtmltopdf。接下来 ...
分类：
Web程序 时间：
2020-06-28 22:40:53
阅读次数：
118
UI自动化我使用的是 puppeteer+jest+typescript 的框架，记录一下我的学习过程。 首先看了B站的视频，讲的 puppeteer ，很详细，可以直接看项目实战，操作中遇到问题再去前面的基础内容里找。 B站链接：https://space.bilibili.com/3061070 ...
分类：
其他好文 时间：
2020-05-27 20:35:41
阅读次数：
104
1. vscode插件：Markdown Preview Enhanced 2. 在vscode内打开一个markdown文档 3. F1调出命令行，输入：Markdown Preview Enhanced: Extend Parser 4. 弹出的js文件内容替换成下面的代码： function ...
分类：
其他好文 时间：
2020-05-14 19:51:32
阅读次数：
96
"github" 安装 常用操作 输入字符 点击节点 获取属性 获取属性集合 等待页面加载完成 获取cookie，转为string格式 javascript const cookies = await page.cookies() const cookiesStr = cookies.map(coo ...
分类：
其他好文 时间：
2020-05-04 00:39:04
阅读次数：
101
企查查登陆验证使用的阿里系的滑动验证码，主要检查的是 内置属性、鼠标在页面中的事件、浏览器可见性中的宽高（canvas绘制）、滑动过程中坐标轴的变化等信息。 使用puppeteer能很好的模拟页面中的事件，但是在进行测试企查查登陆时，需要浏览器的可见性，而且与分辨率也有一定的关系，需要设置浏览器和系 ...
分类：
其他好文 时间：
2020-04-28 00:18:52
阅读次数：
204
这段时间在忙着写一个web端3D可视化编辑的项目(其实也只是有空闲并且心血来潮的时候才会去写的)和其他个人爱好相关的事情； so，看一下目前项目进度的相关截图： 其实就是将echarts的配置图形化，目前暂且写了4个组件。 然后，上个礼拜发现余额宝的收益已经跌破2%了，于是抱着玩玩的心态连夜找了一只 ...
分类：
其他好文 时间：
2020-04-19 23:43:50
阅读次数：
245
用puppeteer爬取网页数据业务需求，页面需要显示很多链接列表，像这样的。我问项目经理要字典表，他笑咪咪地拍着我的肩膀说：“这边有点忙，要不按照这个自己抄一下吧”。emmm…我看了一下，数据大概有七八百条，一个一个录入，那不得搞到地老天荒、海枯石烂。心口一股燥热，差点就要口吐莲花，舌吐芬芳了…转... ...
分类：
Web程序 时间：
2020-03-07 13:01:59
阅读次数：
123
webdriver标记是反爬一定在检测的属性 目前资料都是 ignoreDefaultArgs: ['--enable-automation'] 或 Object.defineProperty(navigator, 'webdriver', { get: () => undefined, }) 实测 ...
分类：
Web程序 时间：
2020-03-02 12:46:02
阅读次数：
166
爬虫常用库 requests、selenium、puppeteer，beautifulsoup4、pyquery、pymysql、pymongo、redis、lxml和scrapy框架 其中发起请求课可以使用requests和scrapy 解析内容可以用 beautifulsoup4,lxml,py ...
分类：
其他好文 时间：
2020-02-25 10:03:07
阅读次数：
84
1、 2、 // puppeteer元素基本操作-输入文本与元素点击 const puppeteer = require('puppeteer') async function fun() { const browser = await puppeteer.launch({ headless: fa ...
分类：
其他好文 时间：
2020-01-31 10:55:04
阅读次数：
108
