这是我学习爬虫比较深入的一步了，大部分的网页抓取用urllib2都可以搞定，但是涉及到JavaScript的时候，urlopen就完全傻逼了，所以不得不用模拟浏览器，方法也有很多，此处我采用的是selenium2+phantomjs，原因在于：selenium2支持所有主流的浏览器和phantomj...
分类：
Web程序 时间：
2014-06-11 11:17:54
阅读次数：
994
前一段时间运用htmlparser时，获取地址是时直接将html页面的相对地址转换成绝对地址，然而今天在运用jsoup，开始的时候发现只能得到相对地址，最后在网上寻找到了解决办法。
htmlparser获得URLs：
//参数说明：parser为模拟浏览器对URL地址操 dataPath：所解析的URL存放路径 dataName：存放URL的数据库名
public static...
分类：
Web程序 时间：
2014-06-08 15:38:26
阅读次数：
257
java程序模拟浏览器访问Web服务器的处理过程...
分类：
编程语言 时间：
2014-05-09 01:59:03
阅读次数：
339
curl是一个利用URL语法在命令行方式下工作的文件传输工具。官方解释curl是一个利用URL语法在命令行方式下工作的文件传输工具。curl是一个利用URL语法在命令行方式下工作的文件传输工具。它支持很多协议：FTP,
FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT,...
分类：
Web程序 时间：
2014-04-28 11:38:18
阅读次数：
597
