Jsoup 方法： String url="http://"; try { //true = 跟随redirects跳转 ； false = 不跟随跳转 Document doc = Jsoup.connect(url).timeout(120000).followRedirec...
分类：
Web程序 时间：
2015-07-15 16:35:44
阅读次数：
1144
jsoup抓取网页+详细讲解
Java 程序在解析 HTML 文档时，相信大家都接触过 htmlparser 这个开源项目，我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章，分别是：从 HTML 中攫取你所需的信息和 扩展
HTMLParser 对自定义标签的处理能力。但现在我已经不再使用 htmlparser 了，原因是 htmlparser 很少更新...
分类：
Web程序 时间：
2015-07-10 15:25:08
阅读次数：
181
页面乱码，首先看下网页源码，注意 content-type=’text/html’;charset=“utf-8”;
servlet里面设置request.setCharacterEncoding("utf-8");
如果是向页面写内容，需要设置response.setCharacterEncoding("utf-8");
注意写...
分类：
Web程序 时间：
2015-07-10 09:29:45
阅读次数：
174
今天用jsoup做了一个‘网络抓取实例’，然而，当作者把junit-4.11.jar 导入项目中，在类中方法上加入@Test，运行时却报错，报错代码如下：java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing at java...
分类：
其他好文 时间：
2015-07-08 12:27:11
阅读次数：
97
如果没有这个函数，php可能会出现中文乱码，处理方法如下：# yum install php-mbstring //安装之后在/etc/php.ini中添加extension=mbstring.so最后重启httpd服务即可
分类：
Web程序 时间：
2015-06-30 07:48:27
阅读次数：
357
简单记录下：搜集信息-分析问题-解决问题关于html文档的操作现成库有：HttpUnit 很老了，不更了http://www.httpunit.org/20 May 2008HttpUnit 1.7 releasedJsoup 还更新http://jsoup.org/htmlunithttp://h...
分类：
编程语言 时间：
2015-06-21 21:03:06
阅读次数：
553
最近FTP传输文件到Linux服务器时，出现乱码的情况，传输的文件名中带有汉字。于是将系统语言设置为支持汉语首先安装相关的包yum-ygroupinstallchinese-support编辑文件/etc/sysconfig/i18nvi/etc/sysconfig/i18n
LANG="zh_CN.GB18030"
#LANG="zh_CN.UTF-8"
LANGUAGE="zh_CN.GB1..
分类：
系统相关 时间：
2015-06-18 20:14:21
阅读次数：
214
1.解析方式
（1）从字符串解析
String
html = "First
parseParse
HTML into a doc.";
Document
doc = Jsoup.parse(html);
?
（2）从URL获取解析
Document
doc = Jsoup.connect("http://example.com/")....
分类：
Web程序 时间：
2015-06-17 11:34:01
阅读次数：
181
Java去除掉HTML里面所有标签,主要就两种，要么用开源的jar处理，要么就自己写正则表达式。自己写的话，可能处理不全一些自定义的标签。企业应用基本都是能找开源就找开源，实在不行才自己写……1，开源的，我目前找到的就是Jsoup包： public static String getTextF...
分类：
编程语言 时间：
2015-06-16 10:49:01
阅读次数：
137
爬出和反爬出是矛与盾的关系, 进化史 1,java原生自带url类:url.getContent();? 2,httpclient, 3,jsoup,htmlclean. 4,htmlunit, 5,se. 1-2只是原生http链接, 3,做了解析层面的支持,比如页面html清理,xpath支持; 4...
分类：
其他好文 时间：
2015-06-15 19:00:39
阅读次数：
144
