1. 准备文本文件: 从文件创建RDD lines=sc.textFile(): 筛选出含某个单词的行 lines.filter(),lambda 参数:条件表达式: 2. 生成单词的列表: 从列表创建RDD words=sc.parallelize(): 筛选出长度大于2 的单词 words.fi ...
分类:
其他好文 时间:
2021-06-07 20:04:33
阅读次数:
0
一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类:
其他好文 时间:
2021-06-07 20:04:10
阅读次数:
0
前言 BIO 、NIO 、AIO 总结 Unix网络编程中的五种IO模型 为了加深对 I/O多路复用机制 的理解,以及了解到多路复用也有局限性,本着打破砂锅问到底的精神,前面我们讲了BIO、NIO、AIO的基本概念以及一些常见问题,同时也回顾了Unix网络编程中的五种IO模型。本篇重点学习理解IO多 ...
分类:
其他好文 时间:
2021-06-06 19:45:37
阅读次数:
0
并发编程-JMM&Lock锁以及原理 JMM(Java Memory Model(Java内存模型)):我们都明白java是一个一次编译多处运行的语言,然而在不同的系统架构中拥有不同的内存模型,java是一个跨平台的虚拟系统,所以他有制定了自己的内存模型,内存模型描述了程序中各个变量之间的关系,以及 ...
分类:
其他好文 时间:
2021-06-06 19:37:34
阅读次数:
0
最近k8s实在流行,好多服务都上了k8s,用着阿里巴巴的nacos,很爽。 直到,曾经有人提出了疑问:既然k8s有了服务注册中心,为啥还要nacos? 然后啊,就hang住了,百思不得其解。直到思考出了下图: 其实就是看现有团队实际情况, 正向考虑的话是:各种够不够强大: 运维团队够不够强大搞ist ...
分类:
其他好文 时间:
2021-06-06 19:27:40
阅读次数:
0
2021年6月5日下午列车讨论: 1.类属性本身不需要实例化也可以调用。 2.实例化之后得到的就是实例属性,就是专属于各个实例自己的属性,就是初始化方法__init__里面那些self.xxx=xxx。 这里的self是一个占位符,直接指向实例对象,也就是说,如果是实例对象的方法或者属性,就一定要添 ...
分类:
其他好文 时间:
2021-06-06 19:22:32
阅读次数:
0
timeout概念 老早用nginx时就零零散散的接触这些时间,一直没静下心系统的梳理一遍,其实理解了这些时间的作用和设置,对配置tengine(nginx)线上业务的 优化有不可小觑的作用,对nginx的工作流程也会有更深的理解,目前我线上配置是服务http小文件(非视频和下载类)的,具体参数配置 ...
分类:
其他好文 时间:
2021-06-06 19:17:08
阅读次数:
0
1.Dockerfile是什么 Dockerfile 是一个用来构建镜像的文本文件,文本内容包含了一条条构建镜像所需的指令和说明。 2.一个构建流程示例 mkdir myNginx cd myNginx/ touch Dockerfile Dockerfile文件加入下面两行,并保存退出 FROM ...
分类:
其他好文 时间:
2021-06-06 19:13:27
阅读次数:
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL作为分布式SQL查询引擎,让用户可以通过SQL、DataFrame API和Data ...
分类:
数据库 时间:
2021-06-06 19:05:46
阅读次数:
0
shell 编程 一、Shell 变量 定义变量时,变量名不加美元符号($,PHP语言中变量需要),如: your_name="runoob.com" 注意,变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样。同时,变量名的命名须遵循如下规则: 命名只能使用英文字母,数字和下划线,首个 ...
分类:
系统相关 时间:
2021-06-05 18:22:55
阅读次数:
0