本章将介绍使用Selenium和PhantomJS两种工具用来加载动态数据，更多内容请参考： "Python学习指南" Selenium Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动化 ...
分类：
编程语言 时间：
2017-12-23 18:58:51
阅读次数：
165
瓣top250爬取环境搭建 安装虚拟机 装Ubantu psypider 框架安装 pip安装 python get-pip.py phantomjs 安装 wgethttps://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-lin ...
分类：
其他好文 时间：
2017-12-14 03:29:26
阅读次数：
150
PhantomJS是一种没有界面的浏览器，便于爬虫 1、PhantomJS下载 2、phantomjs无须安装driver，还有具体的api参考： http://phantomjs.org/api/command-line.html 3、配置config.py 4、爬取如下spider.py ...
分类：
数据库 时间：
2017-12-11 23:02:58
阅读次数：
535
北京艾丽斯妇科医院（http://fuke.fuke120.com/） 首先先说一下配置splash 1.利用pip安装scrapy-splash库 pip install scrapy-splash 2.现在就要用到另一个神器（Docker） Docker下载地址：https://www.dock ...
分类：
编程语言 时间：
2017-12-11 22:14:18
阅读次数：
538
<!--[endif]-->目的 网址： http://www.xiachufang.com/ 输入关键词“早餐”，发现是跳转链接（暂时没想到这种怎么处理比较好，就单独拿出来处理吧） <!--[endif]--> 午餐和晚餐的网址就比较一致 <!--[endif]--> <!--[endif]--> ...
分类：
其他好文 时间：
2017-12-10 18:57:54
阅读次数：
166
selenium.webdriver提供了所有WebDriver的实现，目前支持FireFox、phantomjs、Chrome、Ie和Remote quit（）方法会退出浏览器，而close（）方法只是关闭页面，但如果只有一个页面被打开，close（）方法同样会退出浏览器 使用remote Web ...
分类：
编程语言 时间：
2017-12-08 01:20:05
阅读次数：
1203
原因是因为缺少phantomjs运行的依赖包 Ubuntu尝试： centos尝试： 用wget安装phantomjs依赖的libfontconfig 运行过程中还可能报错没有可执行权限 进入到phantomjs/bin目录下，执行 ...
分类：
Web程序 时间：
2017-12-02 19:14:35
阅读次数：
1068
下载地址http://phantomjs.org/download.htmlwget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2tar -xf phantomjs-2.1.1 ...
分类：
Web程序 时间：
2017-11-28 19:58:50
阅读次数：
186
对WebElement截图 WebDriver.Chrome自带的方法只能对当前窗口截屏，且不能指定特定元素。若是需要截取特定元素或是窗口超过了一屏，就只能另辟蹊径了。 WebDriver.PhantomJS自带的方法支持对整个网页截屏。 下面提供几种思路。 方式一 针对WebDriver.Chro ...
分类：
编程语言 时间：
2017-11-25 17:19:07
阅读次数：
3491
1. 针对需要带cookies访问的网站 scrapy.Request() 设置cookies 设置phantomjs后运行爬虫 还是依然会别ban > 解决方法是在 phantomjs中设置cookies driver.add_cookies(cookies) ...
分类：
其他好文 时间：
2017-11-24 17:03:50
阅读次数：
110
