一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-06 15:15:03
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
redis简介(nosql) 安装win：https://github.com/microsoftarchive/redis/releases/tag/win-3.2.100 redis是一个高性能的键值对key-value数据库 特征： 数据间没有必然的关联关系 内部采用单线程机制进行工作 高性能 ...
分类：
其他好文 时间：
2021-04-06 15:05:17
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-04-06 15:04:43
阅读次数：
0
sentry缺点： 1、组件只支持hive、hdfs、impala 不支持hbase,stome等 show roles; create role admin_zr; 0: jdbc:hive2://cbp5.chinaoly.com:10000/> grant all on server serv ...
分类：
其他好文 时间：
2021-04-06 14:49:20
阅读次数：
0
中文分词：正向匹配最大算法 正向最大匹配法，对于输入的一段文本从左至右、以贪心的方式切出当前位置上长度最大的词。正向最大匹配法是基于词典的分词方，其分词原理是:单词的颗粒度越大，所能表示的含义越确切。该算法主要分两个步骤: 1、一般从一个字符串的开始位置，选择一个最大长度的词长的片段，如果序列不足最 ...
分类：
编程语言 时间：
2021-04-06 14:48:22
阅读次数：
0
Service/DAO层方法命名规约 1） 获取单个对象的方法用get做前缀。 2） 获取多个对象的方法用list做前缀，复数结尾，如：listObjects。 3） 获取统计值的方法用count做前缀。 4） 插入的方法用save/insert做前缀。 5） 删除的方法用remove/delete ...
分类：
其他好文 时间：
2021-04-06 14:35:02
阅读次数：
0
本场链接:Codeforces Round #712 (Div. 2) A. Déjà Vu 签到题,尝试一下插入首位元素或者插入第一个不是a的位置.两者都不行必然是NO. #define _CRT_SECURE_NO_WARNINGS #include <bits/stdc++.h> using ...
分类：
其他好文 时间：
2021-04-06 14:34:27
阅读次数：
0
给你一个数组 nums ，数组中只包含非负整数。定义 rev(x) 的值为将整数 x 各个数字位反转得到的结果。比方说 rev(123) = 321 ， rev(120) = 21 。我们称满足下面条件的下标对 (i, j) 是 好的 ： 0 <= i < j < nums.length nums[ ...
分类：
编程语言 时间：
2021-04-06 14:22:24
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
