用vue-cli生成项目时,如果选择了单元测试,那么会采用karma+mocha作为单元测试框架,默认使用的浏览器是PhantomJs。 Karma是一个基于Node.js的JavaScript测试执行过程管理工具(Test Runner)。可启动所有主流Web浏览器作为测试容器,运行时会启动一个w ...
分类:
其他好文 时间:
2017-07-26 01:40:24
阅读次数:
211
使用Selenium与PhantomJS模拟登录豆瓣:https://www.douban.com/ ...
分类:
Web程序 时间:
2017-07-24 23:50:38
阅读次数:
582
Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同的是Selenium可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。 Selenium可以根据我们的 ...
分类:
Web程序 时间:
2017-07-24 22:23:57
阅读次数:
248
经过上一次的实战,手感有了,普罗西(雾)池也有了,再战taobao/tmall 试着使用phantomJS爬手机端,结果发现爬来的tmall页面全是乱码,taobao页面xpath识别错误。一顿分析了之后才发现:TMD我的python2会把编码搞乱,phantomJS不支持手机独有的tap()操作! ...
分类:
编程语言 时间:
2017-07-21 19:46:39
阅读次数:
264
1.参考 pyspider作者官网: pyspider 爬虫教程(一):HTML 和 CSS 选择器 pyspider 爬虫教程(二):AJAX 和 HTTP pyspider 爬虫教程(三):使用 PhantomJS 渲染带 JS 的页面 CssFullText - CSS选择器 说明 其他: 用 ...
分类:
其他好文 时间:
2017-07-20 12:47:29
阅读次数:
310
Karma 介绍:是由AngularJS团队开发的测试执行过程管理实用工具,帮助开发人员在不同的浏览器中执行测试。 一般搭配PhantomJS作为浏览器启动器。PhantomJS是一个非主流的Webkit浏览器,主要用于不需要显示输出的开发环境中,因此它非常适合在测试中使用。 karma start ...
分类:
Web程序 时间:
2017-07-10 00:39:42
阅读次数:
339
首先介绍今天的主角! interpreter:Selenium app:PhantomJS 既然是interpreter,Selenium是可以按照我第一篇博客的做法下载的。PhantomJS呢,可以直接通过我给的链接里面进行下载。当两个都安装完毕,就能正式地开始进行数据抓取了。当然例子就是我的博客 ...
分类:
Web程序 时间:
2017-07-09 19:35:00
阅读次数:
218
最近学习了下webmagic,学webmagic是因为想折腾下爬虫,但是自己学java的,又不想太费功夫,所以webmagic是比较好的选择了。 写了几个demo,源码流程大致看了一遍。想着把博客园的文章列表爬下来吧。 首页显示的就是第一页文章的列表, 但是翻页按钮不是链接,而是动态的地址: 实际请 ...
分类:
Web程序 时间:
2017-07-08 15:11:08
阅读次数:
2015
直接官网下载http://phantomjs.org/download.html我的环境是64位:https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2解压下文件
root@ubuntu:~#wgethttps://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.b..
分类:
Web程序 时间:
2017-07-07 19:59:29
阅读次数:
1884
一、前言 前段时间尝试爬取了网易云音乐的歌曲,这次打算爬取QQ音乐的歌曲信息。网易云音乐歌曲列表是通过iframe展示的,可以借助Selenium获取到iframe的页面元素, 而QQ音乐采用的是异步加载的方式,套路不一样,这是主流的页面加载方式,爬取有点难度,不过也是对自己的一个挑战。 二、Pyt ...
分类:
编程语言 时间:
2017-07-04 20:22:46
阅读次数:
298