首先我们知道聚合函数（如sum()、avg()、max()等等）是针对定义的行集（组）执行聚集，每组只返回一个值。 窗口函数也是针对定义的行集（组）执行聚集，可为每组返回多个值。如既要显示聚集前的数据,又要显示聚集后的数据。 窗口查询有两个步骤：将记录分割成多个分区，然后在各个分区上调用窗口函数。 ...
分类：
其他好文 时间：
2020-02-29 11:34:46
阅读次数：
65
迭代器模式我们在日常的开发中，特别是在使用集合的过程中都或多或少使用了迭代器来对集合进行遍历。这时候我们就会思考一个问题，明明简单的For循环就能解决的集合遍历问题，我们非得创造一个迭代器来进行集合的遍历，使用迭代器来遍历到底有什么不一样的地方吗？本着‘存在即合理’的原则，我们通过手写迭代器的方式来... ...
分类：
其他好文 时间：
2020-02-28 11:46:14
阅读次数：
46
此方法直接使用RKE进行集群恢复，它适用于RKE创建并导入的集群或者RKE部署的local集群 一、备份 "参考官网备份步骤" ，本文采用的是 RKE HA部署的，三台服务器都是 。 1.1 自动备份 RKEv0.2以后默认ETCD自动备份没有开启，需要使用额外的配置参数启用etcd snapsho ...
分类：
其他好文 时间：
2020-02-26 18:28:25
阅读次数：
235
将webpack与TS进行集成。 1. 安装TypeScript 编译器和 loader npm install --save-dev typescript ts-loader 2. 在package.json同级目录下新建tsconfig.json { "compilerOptions": { " ...
分类：
Web程序 时间：
2020-02-04 18:47:20
阅读次数：
107
分布式数据集 编辑 Spark围绕的核心概念，是弹性分布式数据集（RDD），一个有容错机制，可以被并行操作的集合。目前有两种类型的RDD： 并行集合(Parrallelized Collections)，接收一个已经存在的Scala集合，在它上面运行各种并发计算； Hadoop数据集（Hadoop ...
分类：
其他好文 时间：
2020-02-01 23:17:16
阅读次数：
80
这篇准备尝试RDD的编程操作。 spark运行用户从文件系统中加载数据、通过并行集合（数组）创建RDD，两种都是很方便的操作方式。 应对实验，我在创建了一个文本文件。内容包括—— 之后就是尝试创建RDD。 在pyspark中使用—— >>> students=sc.textFile("file:// ...
分类：
其他好文 时间：
2020-01-27 20:40:27
阅读次数：
78
7-1 表的加减法 ● 集合运算就是对满足同一规则的记录进行的加减等四则运算。● 使用UNION（并集）、 INTERSECT（交集）、 EXCEPT（差集）等集合运算符来进行集合运算。● 集合运算符可以去除重复行。● 如果希望集合运算符保留重复行，就需要使用ALL选项。 ■什么是集合运算 集合在数 ...
分类：
数据库 时间：
2020-01-26 19:08:46
阅读次数：
95
一：SDN控制平面 一个或多个SDN控制器组成，是网络的大脑。 ? 对底层网络交换设备进行集中管理，状态监测、转发决策以及处理和调 度数据平面的流量； ? 通过北向接口向上层应用开放多个层次的可编程能力。 （一）典型的SDN控制器体系架构 SDN控制平面分为6层 南向接口层主要对各种南向接口协议的支 ...
分类：
其他好文 时间：
2020-01-23 16:42:31
阅读次数：
202
记录有关redis cluster 集群相关操作 一. 命令行 //集群(cluster) CLUSTER INFO 打印集群的信息 CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。 //节点(node) CLUSTER MEET <ip> <port> ...
分类：
其他好文 时间：
2020-01-19 16:30:16
阅读次数：
89
写博客是时隔两天，但学习并没有停止。 这一篇博客还是写一下关于Spark基础知识的，上次只是总体名词的理解。 Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成大数据计算任务 于是RDD——由DAG图帮助形成的分布式内存的数据集帮助Spar ...
分类：
其他好文 时间：
2020-01-18 14:39:51
阅读次数：
104
