准备数据: 一、定义自定义无类型聚合函数 想要自定义无类型聚合函数,那必须得继承org.spark.sql.expressions.UserDefinedAggregateFunction,然后重写父类得抽象变量和成员方法。 二、使用自定义无类型聚合函数 输出结果: ...
分类:
数据库 时间:
2019-09-05 15:16:11
阅读次数:
100
记录一下爬取豆瓣热门专栏的经过,通过这篇文章,你能学会requests,HTMLParser,json的基本使用,以及爬取网页内容的基本思路。 使用模块 1,获取豆瓣首页代码:首先我们需要访问豆瓣页面,获取首页的源码。这里推荐使用第三方库:requests,相比python内置的 urllib 模块 ...
分类:
编程语言 时间:
2019-08-31 17:42:10
阅读次数:
114
虚类中包含一个自己的同类对象叫nextChain。重载方法中判断是否是自己应该处理的,并转给nextChain.这样一层一层。。。。 可以用管理类+数组来代替。 当然很明显职责链类少。简杰不简单。 至少学会这个可以更快看懂别人代码。 而管理类+数组,简单。没毛病。 个人感觉,有适合的地方,可以用。因 ...
分类:
其他好文 时间:
2019-07-05 19:17:32
阅读次数:
87
实现之前,我们要事先说明一些问题: 我们用Redis对数据进行持久化,存两种形式的MAP: key值为term,value值为含有该term的urlkey值为url,value值为map,记录term及在文章中出现的次数总的计算公式如下: 1.计算词频TF这里通过给出url地址,获取搜索词term在 ...
分类:
编程语言 时间:
2019-06-29 12:41:17
阅读次数:
168
第一种:QRCode.jar,使用QRCode生成和解析二维码 1.导入jar包 2.代码 (1)QRCodeUtil .java (2)TwoDimensionCodeImage .java (3)Test .java 第二种:借助Google提供的ZXing Core工具包 1.maven依赖 ...
分类:
编程语言 时间:
2019-06-27 21:52:57
阅读次数:
171
<! flowchart 箭头图标 勿删 一,加入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring boot starter aop</a ...
分类:
编程语言 时间:
2019-06-18 10:26:15
阅读次数:
118
Typora使用教程 1.1 标题 语法 ~~~ 一级标题 二级标题 三级标题 四级标题 五级标题 六级标题 ~~~ 1.2 引用 语法 ~~~ 引用内容1 引用内容2 ~~~ 2 . 代码 2.1 单行代码 语法 ~~~ ~~~ 效果 2.2 多行代码 语法 ~~~ ?~~~ ~~~ 3. 列表 ...
分类:
其他好文 时间:
2019-06-15 15:36:01
阅读次数:
86
N76e003切换到外部时钟的资料很少(因为N76e003的片子是不支持无源晶振的,有源晶振的成本又很高,所以网上很少有对N76e003的介绍)。有图有真相: 代码如下: main.c ...
分类:
其他好文 时间:
2019-06-15 00:02:33
阅读次数:
163