Spark SQL原理解析前言： "Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述" 这一次要开始真正介绍Spark解析SQL的流程，首先是从Sql Parse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。 可能有童鞋没接触过antlr4这个 ...
分类：
数据库 时间：
2020-04-23 20:59:04
阅读次数：
93
Summary 在获取 a 标签中的 href 值得时候，发现可以获取到相对地址，但是使用 abs:href 的是返回结果是空的。 查看文档发现，Jsoup.parse 的第二个参数可以传入 baseURL，我们在这里获取即可。 Demo Scala 代码 val urlList = Jsoup.p... ...
分类：
Web程序 时间：
2020-04-22 20:19:26
阅读次数：
310
项目名称：ScrapyProject项目介绍：1抓取图书http://www.shicimingju.com:1).请求图书详情页parse(self,response)函数的修改-ScrapyProject/ScrapyProject/spiders/book.py2).对章节详情页进行解析parse_chapter_detail函数的修改-ScrapyProject/ScrapyProject
分类：
编程语言 时间：
2020-04-22 18:07:51
阅读次数：
91
[toc] 1. JSON.parse() JSON.parser() 是JSON 格式的一个函数, 它用于将object 数据类型转换成为JSON 数据类型, 这里我们来自己实现一下JSON.parser() 函数. 2. 前置知识 2.1 JSON格式中的数据类型 JSON 格式中, 可以将需要 ...
分类：
Web程序 时间：
2020-04-22 09:57:22
阅读次数：
114
String response=httpClientUtil.doGet(url, params);//处理resposneJSONObject json = JSONObject.parseObject(response);JSONArray items=json.getJSONArray("" ...
分类：
Web程序 时间：
2020-04-22 00:13:45
阅读次数：
90
代码实现 获取vkey，从上面的分析我们可以知道，get请求的网址为 https://www.administratorm.com/WANG.WANG/index.php?url=[要下载的vip电影] 我采用输入链接的方式来拼接get请求要访问的url，顺便使用urllib库将输入链接编码，方便后 ...
分类：
编程语言 时间：
2020-04-21 13:08:01
阅读次数：
89
一.Squid简介 Squid是一个高性能的代理缓存服务器，Squid支持FTP、gopher、HTTPS和HTTP协议。 和一般的代理缓存软件不同，Squid用一个单独的、非模块化的、I/O驱动的进程来处理所有的客户端请求。 它通过缓存和重用频繁请求的web页面来减少带宽和提高响应时间。Squid ...
分类：
系统相关 时间：
2020-04-20 23:28:25
阅读次数：
79
const qs = require('querystring') let string = 'name-wangyi#pass-123#sex-0' let obj = qs.parse(string, '#', '-') 输出obj会出现 而我手动改变字符串变对象： // 实现parse var ...
分类：
Web程序 时间：
2020-04-20 15:45:14
阅读次数：
128
0x00 前言 依旧是和上篇文章审计思路一致，越来越觉得代审积累经验很重要了。。还好自己没有头铁学了学php漏洞就头铁去审，哪怕仅仅是这几篇文章这几篇文章学会了debug，学会了看Github的commit记录进行漏洞定位。代审真香啊，越审越好玩。 环境 本次漏洞存在于?Mysql?类的?parse ...
分类：
数据库 时间：
2020-04-19 00:53:21
阅读次数：
137
2020-04-18 每日一例第40天 1.后台代码 double s; if (double.TryParse(textBox1.Text,out s )) { MessageBox.Show("输入的数值正确"); } else { MessageBox.Show("输入的数值不正确！"); } ...
