一、词频统计： 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序 按词频排序 10、结果文件 ...
分类：
其他好文 时间：
2021-04-23 12:06:34
阅读次数：
0
canal源码及安装下载 https://github.com/alibaba/canal/releases canal(基于mysql数据库binlog的增量订阅&消费） - 简书 https://www.jianshu.com/p/6299048fad66 使用 Binlog 和 Canal 从 ...
分类：
数据库 时间：
2021-04-23 11:55:58
阅读次数：
0
利用docker搭建主从复制 环境 首先拉取docker镜像,我们这里使用5.7版本的mysql： docker pull mysql:5.7 然后使用此镜像启动容器，这里需要分别启动主从两个容器 Master(主)： docker run -p 3340:3306 --name master -e ...
分类：
其他好文 时间：
2021-04-23 11:52:48
阅读次数：
0
例子 解释写在注释中 $school_id = $this->getSchoolId($user); $clubs = Club::where('school_id', '!=', $school_id) ->get(['id', 'name', 'school_id', 'logo_img']) ...
分类：
编程语言 时间：
2021-04-23 11:49:12
阅读次数：
0
需要使用幂等的场景： 前端重复提交 接口超时重试 消息队列重复消费 解决方案： token机制：①客户端请求获取token，服务端生成一个唯一ID作为token存在redis中；②客户端第二次请求时携带token，服务端校验token成功则执行业务操作并删除token，服务端校验token失败则表示 ...
分类：
其他好文 时间：
2021-04-22 16:19:38
阅读次数：
0
关系型数据库系统（RDBMS）：是指使用了关系模型的数据库系统（MySQL、Oracle、DB2、SQL Server） NoSQL数据库：指的是数据分类存放，但是数据之间没有 关联关系的数据库系统（Redis、MongoDB、Neo4J、MemCache） MySQL数据库（使用Navicat工具 ...
分类：
数据库 时间：
2021-04-22 16:13:48
阅读次数：
0
一、安装版本本文以如下版本为例进行介绍。服务器：CentOS：6.8MySQL：8.0.18gcc：9.2.0cmake：3.15.2 服务器配置如下：CentOS 6.8，内存6G，磁盘60G。内存4G，磁盘60G的情况下，编译不成功，内存不足；在内存6G，磁盘20G的情况下，编译也不成功，磁盘空 ...
分类：
数据库 时间：
2021-04-22 16:02:18
阅读次数：
0
快速排序： 1、执行流程（一趟快排）： 2、一趟快排的结果：获得一个枢纽，在此左边皆小于此数，在此右边皆大于此数，因此可以继续使用递归获得最终的序列。 ...
分类：
编程语言 时间：
2021-04-22 16:00:56
阅读次数：
0
MySQL中"full outer join"的实现 表ta 表tb 使用：【left join】 union 【right join】 select t1.dim_a, t1.qty qty_a, t2.dim_a dim_b, t2.qty qty_b from ta t1 left join ...
分类：
数据库 时间：
2021-04-22 15:56:52
阅读次数：
0
1、列表的排序 a = [1,2,3,4,9,7,6,5,8] a.sort() #默认升序排列，对象不变，元素排序 a.sort(reverse=True) #降序排序 import random #打乱，随机排序 random.shuffle(a) 用法二、 a = sorted(a) #默认升 ...
分类：
编程语言 时间：
2021-04-22 15:55:48
阅读次数：
0
