1. 准备文本文件： 从文件创建RDD lines=sc.textFile()： 筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式： 2. 生成单词的列表： 从列表创建RDD words=sc.parallelize()： 筛选出长度大于2 的单词 words.fi ...
分类：
其他好文 时间：
2021-06-07 20:04:33
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-06-07 20:04:10
阅读次数：
0
前言 BIO 、NIO 、AIO 总结 Unix网络编程中的五种IO模型 为了加深对 I/O多路复用机制 的理解，以及了解到多路复用也有局限性，本着打破砂锅问到底的精神，前面我们讲了BIO、NIO、AIO的基本概念以及一些常见问题，同时也回顾了Unix网络编程中的五种IO模型。本篇重点学习理解IO多 ...
分类：
其他好文 时间：
2021-06-06 19:45:37
阅读次数：
0
并发编程-JMM&Lock锁以及原理 JMM(Java Memory Model(Java内存模型)):我们都明白java是一个一次编译多处运行的语言，然而在不同的系统架构中拥有不同的内存模型，java是一个跨平台的虚拟系统，所以他有制定了自己的内存模型，内存模型描述了程序中各个变量之间的关系，以及 ...
分类：
其他好文 时间：
2021-06-06 19:37:34
阅读次数：
0
2021年6月5日下午列车讨论： 1.类属性本身不需要实例化也可以调用。 2.实例化之后得到的就是实例属性，就是专属于各个实例自己的属性，就是初始化方法__init__里面那些self.xxx=xxx。 这里的self是一个占位符，直接指向实例对象，也就是说，如果是实例对象的方法或者属性，就一定要添 ...
分类：
其他好文 时间：
2021-06-06 19:22:32
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
分类：
数据库 时间：
2021-06-06 19:05:46
阅读次数：
0
shell 编程 一、Shell 变量 定义变量时，变量名不加美元符号（$，PHP语言中变量需要），如： your_name="runoob.com" 注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。同时，变量名的命名须遵循如下规则： 命名只能使用英文字母，数字和下划线，首个 ...
分类：
系统相关 时间：
2021-06-05 18:22:55
阅读次数：
0
进程理论：1. 进程和程序 程序：存放在硬盘上的一大堆代码，其状态是"死"的 进程：程序正在运行的过程，其状态是"活"的 2. 进程调度算法 对于多个进程的执行，都需要抢占CPU资源，而对于CPU仅存在一个的情况下，就需要使用进程调度算法来合理分配CPU资源 先来先服务调度算法 对于多个进程，按照先 ...
分类：
系统相关 时间：
2021-06-05 17:53:54
阅读次数：
0
一 什么是AOP AOP(Aspect Oriented Programming 面向切面编程). 这种编程的目的在于 在不修改原由类的功能的情况下, 给类的功能进行加强. 感觉功能上和装饰设计模式 有点类似. 切面编程采用的是动态代理的方式实现的. 二 一些术语 Target(目标对象)：被代理的 ...
分类：
其他好文 时间：
2021-06-05 17:37:48
阅读次数：
0
课程科目 计算机网络 |《计算机网络自顶向下方法第七版-中文翻译》 计算机组成原理 | 《计算机组成原理-唐朔飞》 国内特点 缺乏强逻辑思辨环节,更多是灌输,衔接性不强 概念多,多为英文(最好从英文脚本入手,非 翻译版) 大部分翻译,参考国外著作,水平层次不齐,有机翻嫌疑,表达不清 具备能力 偏优秀 ...
分类：
其他好文 时间：
2021-06-04 19:31:43
阅读次数：
0
