需求： 需要采集js渲染的页面，有些网站的页面是js渲染的 实现： 基于HtmlUnit实现： maven依赖： 说明： Nutch插件：nutch-htmlunit用于替换Nutch自身的Http Fetch组件 ...
分类：
编程语言 时间：
2017-05-22 17:45:47
阅读次数：
206
//这个函数的目的是在获取页面的同时，也获取链接对应的cookiepublic static HtmlPage getCookieAndHtml(String url)throws IOException{ URL link=new URL(url); WebClient wc=new WebCli ...
分类：
Web程序 时间：
2017-03-06 19:40:43
阅读次数：
345
原文：http://blog.csdn.net/qq_28384353/article/details/52974432#reply 将爬虫部署到服务器上运行后，在查看服务器的状态监控时发现，天猫爬虫执行一段时间后，CPU占用异常升高，内存也跟着爆炸，虽然程序没有中断，但是爬取速度已经变成龟速。查看 ...
分类：
Web程序 时间：
2017-02-28 19:00:14
阅读次数：
258
WebClient webClient=new WebClient(BrowserVersion.CHROME); webClient.setJavaScriptTimeout(5000); webClient.getOptions().setUseInsecureSSL(true); ... ...
分类：
编程语言 时间：
2016-12-25 02:10:13
阅读次数：
233
Struts2+Spring+Mybatis+Junit 测试 博客分类： HtmlUnit Junit Spring 测试 Mybatis Struts2+Spring+Mybatis+Junit 测试 HtmlUnit Junit Spring 测试 Mybatis Java代码 package ...
分类：
编程语言 时间：
2016-10-24 20:09:54
阅读次数：
222
要爬取一个网站遇到了极验的验证码，这周都在想着怎么破解这个，网上搜了好多知乎上看到有人问了这问题https://www.zhihu.com/question/28833985，我按照这思路去大概实现了一下。 1.使用htmlunit（这种方式我没成功，模拟鼠标拖拽后轨迹没生成,可以跳过） 我用的是j ...
分类：
其他好文 时间：
2016-06-30 16:23:26
阅读次数：
444
packagetest;
//www.cnblogs.com/chenying99/articles/3213544.html
importcom.gargoylesoftware.htmlunit.BrowserVersion;
importcom.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
importcom.gargoylesoftware.htmlunit.WebClient;
//多线程webclient,..
分类：
编程语言 时间：
2016-06-24 20:54:51
阅读次数：
384
packagetest;
importorg.apache.commons.pool.PoolableObjectFactory;
importorg.apache.commons.pool.impl.GenericObjectPool;
importorg.apache.log4j.Logger;
importcom.gargoylesoftware.htmlunit.BrowserVersion;
importcom.gargoylesoftware.htmlunit.NicelyResynchron..
分类：
编程语言 时间：
2016-06-24 16:17:32
阅读次数：
422
http://htsoft.org/html/y2011/822_using-htmlunit-landing-site-with-captcha-image.html 以百度统计为例，说明下如何用htmlunit登陆带验证码的网站
分类：
Web程序 时间：
2016-03-22 06:19:35
阅读次数：
1000
前段时候抓取微博的数据，想着自己使用htmlunit来模拟登陆新浪微博来抓取数据，这两天看了新浪微博的官方API，发现通过新浪微博的官方API 来获取新浪微博信息，更全面，更简单。下面就从注册新浪微博，到在新浪微博开放平台上面完善开发者信息，然后创建应用，从而获取Access Token，最后开发自
