一、词频统计： 1.读文本文件生成RDD 2.将文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字 ...
分类：
其他好文 时间：
2021-04-06 15:20:05
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-06 15:15:03
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
Markdown学习 标题用#号 字体 helloWord一个“*”斜体 helloWord两个“*”加粗 helloWord三个“*”斜体加粗 helloWord两个“~”删除号 引用 今天不学习，明天变垃圾 一个大于符号“>” 分割线 三个杠“-”减号 三个星号“***” 图片 图片：感叹号加方 ...
分类：
其他好文 时间：
2021-04-06 15:06:12
阅读次数：
0
redis简介(nosql) 安装win：https://github.com/microsoftarchive/redis/releases/tag/win-3.2.100 redis是一个高性能的键值对key-value数据库 特征： 数据间没有必然的关联关系 内部采用单线程机制进行工作 高性能 ...
分类：
其他好文 时间：
2021-04-06 15:05:17
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-04-06 15:04:43
阅读次数：
0
中文分词：正向匹配最大算法 正向最大匹配法，对于输入的一段文本从左至右、以贪心的方式切出当前位置上长度最大的词。正向最大匹配法是基于词典的分词方，其分词原理是:单词的颗粒度越大，所能表示的含义越确切。该算法主要分两个步骤: 1、一般从一个字符串的开始位置，选择一个最大长度的词长的片段，如果序列不足最 ...
分类：
编程语言 时间：
2021-04-06 14:48:22
阅读次数：
0
摘自《C Primer Plus第六版中文版》page484 声明时可使用的符号 符号 含义 * 表示一个指针 () 表示一个函数 [] 表示一个数组 下面时一些较复杂的声明示例： int board[8][8]; //声明一个内含int数组的数组 int **ptr； //声明一个指向指针的指针， ...
分类：
其他好文 时间：
2021-04-06 14:44:22
阅读次数：
0
Service/DAO层方法命名规约 1） 获取单个对象的方法用get做前缀。 2） 获取多个对象的方法用list做前缀，复数结尾，如：listObjects。 3） 获取统计值的方法用count做前缀。 4） 插入的方法用save/insert做前缀。 5） 删除的方法用remove/delete ...
分类：
其他好文 时间：
2021-04-06 14:35:02
阅读次数：
0
本场链接:Codeforces Round #712 (Div. 2) A. Déjà Vu 签到题,尝试一下插入首位元素或者插入第一个不是a的位置.两者都不行必然是NO. #define _CRT_SECURE_NO_WARNINGS #include <bits/stdc++.h> using ...
分类：
其他好文 时间：
2021-04-06 14:34:27
阅读次数：
0
