RDD算子调优 不废话，直接进入正题！ 1. RDD复用 在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示： 对上图中的RDD计算架构进行修改，得到如下图所示的优化结果： 2. 尽早filter 获取到初始RDD后，应该考虑尽早地过滤掉不需要的数据，进而减少对内 ...
分类：
其他好文 时间：
2021-03-06 14:22:58
阅读次数：
0
参考：https://blog.csdn.net/vbirdbest/article/details/88189753 安装步骤 1. 修改主机名 sudo scutil --set HostName localhost 2. ssh免密登录 具体配置方法： （1）ssh-keygen -t rsa ...
分类：
系统相关 时间：
2021-03-06 14:17:50
阅读次数：
0
GitHub下载showdoc源码使用Docker手动创建镜像 ShowDoc是一个非常适合IT团队在线共享文档的工具，在线访问地址为：https://www.showDoc.cc ShowDoc的GitHub项目地址为：https://github.com/star7th/showdoc，下载地址 ...
分类：
其他好文 时间：
2021-03-05 13:27:52
阅读次数：
0
我主要参考这篇文章来搭建easy-mock，但是在自己搭建的过程中遇到一些其它的问题，所以写了这边文章来记录搭建的细节，也算是对这篇文章的补充吧。 搭建easy-mock主要分成两种途径：一、需要分别安装node、mogonDB、Redis，而且node 的版本不能超过v9；二、基于docker-c ...
前置条件:我使用的系统是ubuntu20.04，linux系统 docker安装jenkins官网:https://github.com/jenkinsci/docker 启动jenkins，镜像中直接安装了插件blueOcean，推荐，因为插件很难装 sudo docker run \ -u ro ...
分类：
其他好文 时间：
2021-03-05 13:19:30
阅读次数：
0
第一步：卸载老版本 $ sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engi ...
分类：
其他好文 时间：
2021-03-05 13:18:40
阅读次数：
0
萌新自学 sqli-labs搭建在kali下docker kali的IP地址为192.168.3.131 进入后我们可以看到 Please input the ID as parameter with numeric value 输入：http://192.168.3.131/sqli-labs/L ...
分类：
其他好文 时间：
2021-03-05 13:16:18
阅读次数：
0
harbor：私人镜像仓库，搭建在本地可以对镜像起到一个远程存储和复用的用途 安装方式：docker-compose通过yaml 1、搜索harbor的github地址，通过点点点的方式找到harbor的安装压缩包 2、wget到本地，eg： wget https://github.com/goha ...
分类：
其他好文 时间：
2021-03-04 13:35:16
阅读次数：
0
Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
想了一堆奇怪的做法，最后通过观察大数据过了。 链接 思路 开始观察 \(border\) 长度盲猜了一个结论，就看在第一个有数值的位置前有几个零，结果错了。 下了数据点后看了一下，发现一段连续后又会出现零，但是似乎每一个合法的字符串在最后都会变回一段从1开始的连续序列，从1一直到字符串结束。 于是又 ...
分类：
其他好文 时间：
2021-03-04 13:12:59
阅读次数：
0
