//s为success表示成功
varpage=require(‘webpage‘);
page.open(‘https://www.baidu.com/‘,function(s){
console.log(s);
phantom.exit();
});
分类:
Web程序 时间:
2017-02-23 14:25:42
阅读次数:
149
varwebpage=require(‘webpage‘);
varpage=webpage.create();
varurl="https://www.baidu.com/";
page.onConsoleMessage=function(msg){
console.log(‘Pagetitleis‘+msg);
}
page.open(url,function(s){
if(s=="success"){
page.evaluate(function(){
console.log(docu..
分类:
Web程序 时间:
2017-02-23 14:25:14
阅读次数:
178
varwebpage=require(‘webpage‘);
varpage=webpage.create();
varurl="https://www.baidu.com/";
page.open(url,function(s){
if(s=="success"){
page.includeJs("http://code.jquery.com/jquery-1.8.0.min.js",function(){
page.evaluate(function(){
$("#kw").val(..
分类:
Web程序 时间:
2017-02-23 14:24:49
阅读次数:
190
varwebpage=require(‘webpage‘);
varpage=webpage.create();
varurl="https://www.baidu.com/";
page.viewportSize={width:1920,height:1080}
page.open(url,function(s){
if(s=="success"){
page.render(‘baidu.jpeg‘,{format:‘jpeg‘,quality:‘100‘});
phantom.exit();..
分类:
Web程序 时间:
2017-02-23 14:24:33
阅读次数:
228
varsystem=require(‘system‘);
if(system.args.length===1){
console.log(‘trytopasssomeargswheninvokingthisscript!‘);
}else{
system.args.forEach(function(arg,i){
console.log(i+‘:‘+arg);
})
}
phantom.exit();
分类:
Web程序 时间:
2017-02-23 14:23:37
阅读次数:
352
手头项目需要抓取一个用js渲染出来的网站中的数据。使用常用的httpclient抓回来的页面是没有数据。上网百度了一下,大家推荐的方案是使用PhantomJS。PhantomJS是一个没有界面的webkit浏览器,能够和浏览器效果一致的使用js渲染页面。Selenium是一个web测试框架。使用Se ...
抓取使用Ajax技术完成的网页内容时可以使用Selenium+PhantomJS技术 1.pip install selenium 2.下载Phantomjs不需要用pip 武汉科技大学首页有一块使用js异步加载的网页内容,如图 抓取这一块内容的思路是:判断这一块是否加载完毕;selenium抓取 ...
分类:
Web程序 时间:
2017-02-13 21:40:02
阅读次数:
191
关于 首先,在此附上项目的地址,以及官方文档 PySpider 官方文档 安装 1. pip 首先确保你已经安装了pip,若没有安装,请参照 pip安装 2. phantomjs PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持 ...
分类:
编程语言 时间:
2017-02-08 22:52:22
阅读次数:
290
前言 大家有没有发现之前我们写的爬虫都有一个共性,就是只能爬取单纯的html代码,如果页面是JS渲染的该怎么办呢?如果我们单纯去分析一个个后台的请求,手动去摸索JS渲染的到的一些结果,那简直没天理了。所以,我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面。 其中有一个比较常用的工具, ...
分类:
编程语言 时间:
2017-02-08 22:48:36
阅读次数:
305
1.安装phantomjs ubuntu下sudo apt-get install phantomjs下载的不能用 —-下载程序文件 —-解压文件 –将程序移到一个合适的位置 —-创建软链接到环境变量中。这样可以直接在shell中使用phantomjs命令 —-检查是否正常工作 如果你看到当前版本号 ...
分类:
Web程序 时间:
2017-02-06 10:24:57
阅读次数:
241