一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-06-07 20:04:10
阅读次数：
0
前言 BIO 、NIO 、AIO 总结 Unix网络编程中的五种IO模型 为了加深对 I/O多路复用机制 的理解，以及了解到多路复用也有局限性，本着打破砂锅问到底的精神，前面我们讲了BIO、NIO、AIO的基本概念以及一些常见问题，同时也回顾了Unix网络编程中的五种IO模型。本篇重点学习理解IO多 ...
分类：
其他好文 时间：
2021-06-06 19:45:37
阅读次数：
0
并发编程-JMM&Lock锁以及原理 JMM(Java Memory Model(Java内存模型)):我们都明白java是一个一次编译多处运行的语言，然而在不同的系统架构中拥有不同的内存模型，java是一个跨平台的虚拟系统，所以他有制定了自己的内存模型，内存模型描述了程序中各个变量之间的关系，以及 ...
分类：
其他好文 时间：
2021-06-06 19:37:34
阅读次数：
0
拉取redis镜像 docker pull redis 创建redis容器 docker create --name redis-node1 --net host -v /data/redis-data/node1:/data redis --cluster-enabled yes --cluste ...
分类：
其他好文 时间：
2021-06-06 19:28:17
阅读次数：
0
2021年6月5日下午列车讨论： 1.类属性本身不需要实例化也可以调用。 2.实例化之后得到的就是实例属性，就是专属于各个实例自己的属性，就是初始化方法__init__里面那些self.xxx=xxx。 这里的self是一个占位符，直接指向实例对象，也就是说，如果是实例对象的方法或者属性，就一定要添 ...
分类：
其他好文 时间：
2021-06-06 19:22:32
阅读次数：
0
2021-06-06 关键字：Shell具体应用 需求：在指定目录中查找文件名包含指定字符的文件 - 支持自定义关键字查找 - 支持自定义查找路径及查找关键字 使用方式： 假设这个工具的名称为：fgtool.sh （取意 shell tool for find and grep）。 直接运行此工具， ...
分类：
系统相关 时间：
2021-06-06 19:18:00
阅读次数：
0
我们编写的程序源代码，或者下一个小的脚本文件需要对外发布时，我们有时候不想让别人能轻易地看到我们的源码，可以将其编译成pyd形式地进行外发，pyd相对于pyc和pyo编译文件，他们两种文件形式差不多，也很容易被反编译，pyd格式是D语言(C/C++综合进化版本)生成的二进制文件，实际也是DLL文件， ...
分类：
编程语言 时间：
2021-06-06 19:12:12
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
分类：
数据库 时间：
2021-06-06 19:05:46
阅读次数：
0
商品详情页面静态化 提示： 商品详情页查询数据量大，而且是用户频繁访问的页面。 类似首页广告，为了减少数据库查询次数，提升页面响应效率，我们也要对详情页进行静态化处理。 静态化说明： 首页广告的数据变化非常的频繁，所以我们最终使用了定时任务进行静态化。 详情页的数据变化的频率没有首页广告那么频繁，而 ...
分类：
其他好文 时间：
2021-06-06 18:57:31
阅读次数：
0
官网注册git账号 下载git客户端 下载的比较快不传百度云了，一路安装默认配置即可 配置git git bash here进入git控制台 配置用户名 git config --global user.name "zyn" 配置作者邮箱 git config --global user.email ...
分类：
其他好文 时间：
2021-06-06 18:50:15
阅读次数：
0
