puppeteer是谷歌官方出品的一个通过 "DevTools" 协议控制 headless Chrome 的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。 安装 直接运行安装命令: 如果出现无法安装的问 ...
分类:
其他好文 时间:
2019-01-09 21:35:41
阅读次数:
238
在使用prerender-spa-plugin做前端预渲染的时候,安装puppeteer的时候因为下载Chromium 失败报错,有如下解决方法: 1.使用Chromium 国内源 2.使用淘宝的cnpm 安装 3. 手动下载Chromium文件,解压后放在本地 https://npm.taobao ...
分类:
其他好文 时间:
2019-01-09 15:05:45
阅读次数:
1573
1. 设置代理: 这一步超级简单,但我掉到了坑里并扑腾了小一天的时间,那就是:箭头指向处一定一定不要加空格!!! 2. 检查代理是否设置成功: 在打开的浏览器里,打开百度,输入ip,如果查出来的结果跟你设置的一样,你是幸福的,成功啦。 万一,是下面这种情况,打不开页面。别慌,不是你的错,那是你设置的 ...
分类:
其他好文 时间:
2019-01-08 19:32:29
阅读次数:
1511
1:找到 C:\Users\Administrator\.xtoolkit\node_modules 删除下面的weex-debugger; 2:npm config set PUPPETEER_DOWNLOAD_HOST https://storage.googleapis.com.cnpmjs. ...
分类:
其他好文 时间:
2019-01-07 21:24:57
阅读次数:
148
一、前提 windows环境的puppeteer环境配置要简单点,mac环境坑竟然有点多,这边稍微提下 二、开发环境 nodejs puppeteer mac 三、简单介绍下puppeteer Puppeteer 核心功能(1)利用网页生成PDF、图片(2)爬取SPA应用,并生成预渲染内容(即“SS ...
分类:
其他好文 时间:
2019-01-05 18:15:48
阅读次数:
141
在我们使用chrome作为爬虫获取网页数据时,往往需如下几步。 打开chrome 导航至目标页面 等待目标页面加载完成 解析目标页面数据 保存目标页面数据 关闭chrome 我们实际的编码往往集中在第4步,并且,在开发过程中,解析网页数据往往不是一步到位的,需要经过反复多次调试才行。如果每次调试都需... ...
分类:
其他好文 时间:
2018-12-11 11:21:39
阅读次数:
1224
一、概述 原文地址:https://pro.ant.design/docs/ui-test-cn UI 测试是项目研发流程中的重要一环,有效的测试用例可以梳理业务需求,保证研发的质量和进度,让工程师可以放心的重构代码和新增功能。 Ant Design Pro 封装了一套简洁易用的 React 单元测 ...
分类:
其他好文 时间:
2018-12-09 16:45:02
阅读次数:
254
centos及ubuntu安装 Puppeteer/rendertron所需的依赖包
分类:
系统相关 时间:
2018-12-04 19:02:56
阅读次数:
363
web前端自动化测试利器puppeteer介绍 Intro Chrome59(linux、macos)、 Chrome60(windows)之后,Chrome自带 "headless(无界面)模式" 很方便做自动化测试或者爬虫。但是如何和headless模式的Chrome交互则是一个问题。通过启动C ...
分类:
Web程序 时间:
2018-11-29 15:38:34
阅读次数:
184
译者按: 本文通过简单的例子介绍如何使用Puppeteer来爬取网页数据,特别是用谷歌开发者工具获取元素选择器值得学习。 原文: "A Guide to Automating & Scraping the Web with JavaScript (Chrome + Puppeteer + Node ...
分类:
其他好文 时间:
2018-11-26 16:20:11
阅读次数:
251