Jsoup问题 获取http协议请求失败 1、问题：用Jsoup在获取一些网站的数据时，起初获取很顺利，但是在访问某浪的数据是Jsoup报错，应该是请求头里面的请求类型(ContextType)不符合要求。 错误信息： 请求方法： 2、解决：只需要在 Connection con = Jsoup.c ...
分类：
移动开发 时间：
2016-12-20 14:16:56
阅读次数：
361
这段时间工作比较空闲，在网上找资料学习的时候看到数据抓取这一块，来了兴趣 用jsoup实现数据抓取着实方便，唯一美中不足的是官方API是英文版的，对我这样英语水平不好的程序员来说着实困扰，只能一点点的去实践 所以有了这篇随记，以后用的时候好回头温习温习 Jsoup的一系列解析html操作是基于Doc ...
分类：
Web程序 时间：
2016-12-12 19:41:41
阅读次数：
210
Jsoup主页：http://jsoup.org/ 在Blog.java 加入 private List<String> imageList=new LinkedList<String>(); // 博客里存在的图片，主要用于列表展示的缩略图 for(Blog blog:blogList){ Lis ...
分类：
Web程序 时间：
2016-11-17 00:32:46
阅读次数：
312
这里用的是jsoup1.6.3jar 研究了一天时间，说说碰到的难题。我这里抓取的是以.jpg为主的图片. 当时没有获取图片的后缀名，每次往电脑上下载图片总是新建一个空的文件夹。一定要获取到图片的后缀名才行。 还有一点就是我这个方法不一定适合所有的网站，不同网站的src地址不一样，需要注意一下。 我 ...
分类：
Web程序 时间：
2016-11-11 20:06:45
阅读次数：
256
log4j日志文件乱码问题的解决方法 log4j日志文件中文乱码处理方法 log4j 控制台和文件输出乱码问题解决 写在前面，第三篇文章中将原因解释的最清楚，为什么设置为UTF-8或者GBK就生效了，原因是类文件的编码和输入日志的编码必须一致，否则就会出现乱码。 转：log4j日志文件乱码问题的解决 ...
分类：
其他好文 时间：
2016-10-26 19:32:44
阅读次数：
224
用java做了一个小爬虫的dome，感觉挺好玩的样子。得好好学学爬虫这门技术 1 java 原生的代码实现爬虫 这是将淘宝首页 a 标签的文字爬下来了 2 java 相关的框架封装的方法，首先得先引入架包jsoup-1.7.3.jar 网页通过get 方法来提交数据的爬取方式 爬出来是淘宝想应的链接 ...
分类：
其他好文 时间：
2016-10-23 02:16:02
阅读次数：
305
1、测试网页：http://ajax.mianbao99.com/vod-showlist-id-8-order-time-c-3719-p-1.html ZC: 直接查看的话，使用这个链接：http://www.mianbao99.com/vod-showlist-id-8-order-time- ...
分类：
Web程序 时间：
2016-10-19 17:25:21
阅读次数：
512
1、百度搜索“Android 抓网页”，得到的结果： 1.1、http://www.jianshu.com/p/7d658636764a jsoup 1.2、http://blog.sina.com.cn/s/blog_6b04c8eb01013v9n.html HttpURLConnection ...
分类：
Web程序 时间：
2016-10-19 17:12:54
阅读次数：
206
1、方案选择： 1.1、HttpClient库 获取 原始的 json数据 1.2、JSON库 取得 我们需要的HTML内容 1.3、使用 jsoup 解析 我们取得的HTML内容 2、不直接使用 jsoup，原因： 2.1、它会自动补全 HTML的头和尾(<html/><body/>等)，jsou ...
分类：
Web程序 时间：
2016-10-19 16:41:12
阅读次数：
151
