什么是Shuffle 在RDD中，将每个相同key的value聚合起来。相同key的value可能在不同partition，也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有：groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类：
其他好文 时间：
2020-07-16 10:12:36
阅读次数：
63
计算时间差.#!/bin/bashSTART_SEC=$SECONDSsleep 65END_SEC=$SECONDSDIFF=$((END_SEC-START_SEC))echo "$(($DIFF / 3600)) hours $(($DIFF % 3600 / 60)) minutes and... ...
分类：
其他好文 时间：
2020-07-16 00:00:31
阅读次数：
78
root@ubuntu:/data1/root/ryu/SDN-IP-Ryu# sshd -T Missing privilege separation directory: /run/sshd Missing privilege separation directory: /run/sshd ro ...
分类：
系统相关 时间：
2020-07-15 23:54:56
阅读次数：
177
1- Kubernetes对软件和硬件的系统要求 软硬件 最低配置 推荐配置 CPU|内存 Master: 2cores|4GNode：4cores|16G master: 4cores|16GNode: 根据需要运行的容器数量进行配置 Linux系统 CentOS,redhat,ubuntu,Fe ...
分类：
Web程序 时间：
2020-07-15 15:22:17
阅读次数：
90
/** * 数组相关工具类 */ class ArrayClazz { /** * 提取对象数组中的某一个属性名,重新组成一个新的数组 * @param obj 对象数组 * @param field 属性名称 * @param needSpace true,往数组第一个位置插入空值 * @retu ...
分类：
其他好文 时间：
2020-07-15 15:16:18
阅读次数：
66
搭建了一次，Prometheus和Grafana结合监控Mysql和服务器的监控。分享下1.环境搭建的服务器是CentOSLinuxrelease7.8.2003(Core)Mysql是5.7.302.安装GrafanaGrafana是一个可视化面板(Dashboard),有着非常漂亮的图表和布局展示,功能齐全的度量仪表盘和图形编辑器,支持Graphite、zabbix、InfluxDB、Prom
分类：
数据库 时间：
2020-07-14 21:58:14
阅读次数：
118
给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。 说明：你的算法应该具有线性时间复杂度。 你可以不使用额外空间来实现吗？ 示例 1: 输入: [2,2,1] 输出: 1 示例 2: 输入: [4,1,2,1,2] 输出: 4 1.暴力法：排序后， ...
分类：
其他好文 时间：
2020-07-14 00:24:02
阅读次数：
72
SFTP的概念 sftp是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的网络的加密方法。sftp 与 ftp 有着几乎一样的语法和功能。SFTP 为 SSH的其中一部分，是一种传输档案至 Blogger 伺服器的安全方式。其实在SSH ...
分类：
其他好文 时间：
2020-07-13 21:51:04
阅读次数：
77
一、Linux grep 命令用于查找文件里符合条件的字符串。 grep 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来。 若不指定任何文件名称，或是所给予的文件名为 -，则 grep 指令会从标准输入设备读取 ...
分类：
其他好文 时间：
2020-07-13 21:37:14
阅读次数：
77
算法实现起来比较简单，参考 资料1，这里不再赘述； 特点 傅里叶变换 的 基波 为 正弦波，如果原始信号波形很复杂，信号分解 计算量会很大，用 无穷多的 正弦波 才能 逼近 这个 波形； 小波变换 的 基波 为 某些固定波形，不同的 基波 对信号处理影响很大，一旦选定，无法更换，即使小波基在全局最佳 ...
分类：
其他好文 时间：
2020-07-13 19:55:41
阅读次数：
119
