一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-03-31 12:33:25
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 ...
分类：
其他好文 时间：
2021-03-31 12:22:01
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 最后相关文件已经保存。 ...
分类：
其他好文 时间：
2021-03-31 11:54:45
阅读次数：
0
1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words（map,flatmap） 3.全部转换为小写（lower（）） 4.去掉长度小于3的单词（filter） 6.练习一的生成单词键值对（map) ...
分类：
其他好文 时间：
2021-03-31 11:48:28
阅读次数：
0
在win10上开发好的python项目要部署在Linux上要面对的问题：怎么在Linux上跑py文件呢？ 以Lunix CentOS7.x平台为例，CentOS系统上自带的已有python2.x 的版本，使用命令可以查看。 但我们需要python3.x 的主流版本，此时建议不要删除原有的python ...
分类：
编程语言 时间：
2021-03-31 11:47:11
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 ...
分类：
其他好文 时间：
2021-03-31 11:44:46
阅读次数：
0
准备文本文件从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类：
其他好文 时间：
2021-03-30 13:26:11
阅读次数：
0
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类：
其他好文 时间：
2021-03-30 13:18:46
阅读次数：
0
AirtestIDE 安装与启动 软件安装 Python Python2.7或更高(个人建议Python3.8)目前(2021.3.13)最高支持Python3.9(airtest1.1.8；pocoui1.0.81；airtestIDE1.2.8的版本) AirtestIDE 打开下面网址，在底部 ...
分类：
其他好文 时间：
2021-03-30 13:18:21
阅读次数：
0
