昨天LZ去面试,遇到一个大牛,被血虐一番,发现自己基础还是很薄弱,对java一些原理掌握的还是不够稳固,比如java反射注解,知道一点就是说不出来,很尴尬… 生命不止,学习不止啊之前那个项目 QNews 用的是的第三方的数据平台,所以访问次数会有限制,这就很无奈。。。我的博客地址每天只能请求100次... ...
分类:
Web程序 时间:
2019-10-11 23:23:35
阅读次数:
234
#环境准备 ##第三方工具包httpclient:抓取网页数据 *get请求 *带参数get请求 *post请求 *带参数post请求 *连接池 *请求参数:时间 #Jsoup *对页面进行解析 *字符串处理工具 *正则表达式 *环境搭建 *导入坐标jsoup,以及其他工具 *解析url *解析字符 ...
分类:
编程语言 时间:
2019-10-11 20:35:50
阅读次数:
102
1.Performance方法 Performance提供的方法可以灵活使用,获取到页面加载等标记的耗时情况。 2.Performance属性 Performance.timing属性对象提供了浏览器从打开网页到加载完成之间各个节点的耗时数据,包括重定向开始、DNS查询、浏览器响应数据、DOM解析等 ...
分类:
Web程序 时间:
2019-10-10 17:22:43
阅读次数:
105
1、DNS(domain name system) 域名 <==> IP地址 DNS解析过程: ...
分类:
其他好文 时间:
2019-10-09 17:48:53
阅读次数:
85
本文主要分享的是关于Java爬虫技术其中一个方式 ==> Jsoup 1、Jsoup简介 推开技术大门,爬虫技术琳琅满目,而今天要分享的Jsoup是一款Java的HTML解析神器,,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API。可通过DOM,CSS以及类似于jQuery的 ...
分类:
编程语言 时间:
2019-10-01 15:57:07
阅读次数:
111
一,导入依赖 二,编写demo类 注意不要导错包了,是org.jsoup.nodes下面的 ...
分类:
编程语言 时间:
2019-09-26 23:49:07
阅读次数:
94
推荐阅读:原来 CSS 与 JS 是这样阻塞 DOM 解析和渲染的 废话少说,先来看个图: 1.浏览器先解析HTML产生一个 DOM Tree。 2.解析 CSS 会产生 CSS Rule Tree。 3.解析完成后,浏览器引擎会通过 DOM Tree 和 CSS Rule Tree 来构造 Ren ...
分类:
其他好文 时间:
2019-09-13 22:14:06
阅读次数:
132
DOM解析(一) 采用dom解析,会将xml文档全部载入到内存当中,然后将xml文档中的所有内容转换为tree上的节点(对象)。 优点: 可以随机解析 可以修改文件 可以创建xml文件 缺点: 适合解析小文件,对内存要求高 1.1.1 输出xml 各个 关键信息(使用dom解析) ...
分类:
其他好文 时间:
2019-09-05 00:31:09
阅读次数:
101
public class HtmlUtil { // 只有纯文本可以通过 public static String getText(String html) { if (html == null) return null; return Jsoup.clean(html, Whitelist.non ...
分类:
Web程序 时间:
2019-08-19 17:14:08
阅读次数:
179