对于一般的页面数据我们用querylist可以很容易的抓取页面然后分析其中的dom树，抓取自己需要的数据，存储到数据库，但是有时候会遇到想要抓取的数据通过JavaScript渲染的，这个时候 Puppeteer 插件就派上用场了，参考https://querylist.cc/docs/guide/v ...
分类：
Web程序 时间：
2019-07-10 10:39:47
阅读次数：
311
有的时候，我会写一些爬虫程序来自动获取一些信息，之前一段时间用过Puppeteer来驱动Chrome获取信息，我之前也写过一系列文章来介绍它。Puppeteer是Google官方出品，本身质量非常好高，提供的功能也非常强大，但它本身并不是针对爬虫程序定制的，用起来存在如下不便之处： 提供的API过多 ...
分类：
其他好文 时间：
2019-07-06 16:18:08
阅读次数：
187
今天试着使用 "apify" 这个库，玩玩爬虫，在使用 安装依赖的时候，发现一直卡着不动，然后发现 这个库依赖于 ，而安装 的时候会需要下载一个一百多M的包，而包的服务器在国外，基本下不动，没办法去查看源码，在 的项目根目录下有个 文件，可以看到这一句 看到这一句，我们可以使用环境变量修改下载的ho ...
分类：
其他好文 时间：
2019-06-24 12:22:18
阅读次数：
109
1. less.css css一种预处理库 地址: http://lesscss.cn/#getting-started; 2. sass.css css服务端渲染的出来库 地址: https://www.sass.hk/; 3. scss.css 相当于sass.cs的一种升级库 4. webpa ...
分类：
其他好文 时间：
2019-06-06 17:25:22
阅读次数：
108
1、基础知识 puppeteer.launch() 创建浏览器实例 puppeteer.newPage() 创建一个新页面 puppeteer.goto() 进入指定网站 page.screenshot() 截屏 page.pdf() 输出为pdf 注意必须是headless=true page.e ...
分类：
其他好文 时间：
2019-04-14 18:01:13
阅读次数：
175
在nodejs中，通过puppeteer来获取web页面中的window.performance对象，从而分析页面的性能
Nodejs中puppeteer抓取浏览器HAR数据
分类：
Web程序 时间：
2019-03-19 12:36:36
阅读次数：
565
1. 根据html生成pdf 2. puppeteer nodejs chrome headless 操作库(文档) 这个库可以在nodejs实现 绝大部分的浏览器动作，截图、爬虫..... 具体代码看官方文档，十分详尽 ...
分类：
其他好文 时间：
2019-02-20 11:27:36
阅读次数：
172
"Request" "Response" "page.setRequestInterception(true)" 开启拦截 "req.respond()" 返回一个自定义响应 "req.continue()" 继续请求 注意: 监听的请求的类型有： document，stylesheet，image ...
分类：
其他好文 时间：
2019-01-26 17:55:08
阅读次数：
1798
main.js index.html run ...
分类：
其他好文 时间：
2019-01-24 00:30:07
阅读次数：
163
