一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-07 10:40:25
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-06 15:15:03
阅读次数：
0
1.filter通常情况下是用来返回一个符合条件的新数组的，并且他不会对原数组产生影响： comment_or_reply_id: "ob8qj0xq8e5s", from_uid: "1502039268@qq.com", isAgreeClick: true, topic_id: "604629 ...
分类：
编程语言 时间：
2021-04-06 15:05:49
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-04-06 15:04:43
阅读次数：
0
sentry缺点： 1、组件只支持hive、hdfs、impala 不支持hbase,stome等 show roles; create role admin_zr; 0: jdbc:hive2://cbp5.chinaoly.com:10000/> grant all on server serv ...
分类：
其他好文 时间：
2021-04-06 14:49:20
阅读次数：
0
一 函数定义： 高阶函数：一个函数可以接收其他函数作为参数，这种函数便称为高阶函数；常用高阶函数：Array: map(); reduce(); filter()等等； 函数柯理化（Currying）：是把接受多个参数的函数变换成接受一个单一参数（最初函数的第一个参数）的函数，并且返回接受余下的参数 ...
分类：
Web程序 时间：
2021-04-06 14:24:51
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
filter介绍与作用： """ 1. 说明： 在Python2中是一个内置函数，在Python3中它是内置类 内置函数和内置类都在[builtin.py]文件中 2. 作用： 对可迭代对象进行过滤，遍历完后得到一个filter对象。 3. 格式： filter(函数名, 可迭代对象)""" 示例代 ...
分类：
其他好文 时间：
2021-04-05 11:51:47
阅读次数：
0
(JAVA中过滤器（Filter）与拦截器（Interceptor）) 概述 过滤器（Filter） 过滤器实际上就是对web资源进行拦截，做一些处理后再交给下一个过滤器或servlet处理 通常都是用来拦截request进行处理的，也可以对返回的response进行拦截处理。 拦截器（Interc ...
分类：
编程语言 时间：
2021-04-02 12:57:04
阅读次数：
0
Servlet程序的创建（Idea版本） servlet是Javaee的规范之一。是Javaweb的三大组件之一（servlet程序、filter过滤器、listener监听器）。可以用来接收客户端的请求，并响应数据给客户端。 1.如何创建一个servlet程序 1.创建一个Javaweb工程（具体 ...
分类：
其他好文 时间：
2021-04-01 13:33:21
阅读次数：
0
