RDD的持久化是spark优化中必须掌握的，并且，在内存不足的情况下，我们可以将持久化类型选择为MEMORY_ONLY_SER，减少内存的占用，持久化更多的partition，并且不同的序列化方法也会影响序列化性能。
下面，我们就来测试下，持久化级别和序列化方法的选择对RDD持久化大小的影响。
分类：
其他好文 时间：
2019-05-19 20:38:16
阅读次数：
188
在学习Linux时，使用VMware在计算机上安装3台linux虚拟机，根据网上相关的教程，仅给/root目录大小设置了10G,之后一段时间，由于要搭建mysql ndbcluster时，在解压mysql二进制文件后，系统提示，内存不足，然而又不想重新装linux系统， 所以找了一下扩容根目录的方法 ...
分类：
其他好文 时间：
2019-05-19 16:56:31
阅读次数：
159
1、du命令的学习du使用方法，磁盘block满了，使用这个命令找出哪些文件或目录占用的空间大dudu-h--人类可以读的方式du-sh显示目录的大小三者的区别2、du与sort的搭配使用-h不能与n搭配使用，会报错倒序排列，使文件或者目录由大到小显示3、inode满了模拟并解决--案例第1个里程碑：创建1个100k文件：ddif=/dev/zeroof=/tmp/100kbs=1kcount=1
分类：
其他好文 时间：
2019-05-14 09:31:18
阅读次数：
192
如果执行线上项目拷下来sqlserver的.sql的数据库脚本文件,如果文件较大时，那么就会报错内存不足之类的。 这时可以在命令提示符使用命令来执行脚本文件。切记，执行前先改一下数据库存放位置！ 命令：osql -S . ,1433 -U sa -P 123 -i C:\Users\Cheng\De ...
分类：
数据库 时间：
2019-04-27 00:45:45
阅读次数：
204
一、病毒匹配这个程序主要就在三个函数 第一个比较简单，想方设法把下标0从1开始， 于是，就用了strcat 的方法，在主串和模式串的前面加个任意字符的。 但是在vs 的时候出现了一个内存不足的问题？ 于是把这个改成了如图所示 strcat_s, 编译没有问题了，但是在pta 上面会显示编译错误。 当 ...
分类：
其他好文 时间：
2019-04-15 01:00:52
阅读次数：
182
Jira和Confluence部署在同一台服务器上，跑一段时间后，发现访问jira和confluence时，打开越来越缓慢。这是因为根据主机物理内存不同，默认的java虚拟机内存也会不同（一个较低值），有时候不够用，可以修改JAVA默认的JVM内存设置，改善内存不足导致的问题。操作如下： 1、Jir ...
分类：
其他好文 时间：
2019-04-06 00:16:29
阅读次数：
106
买的暂时空间不给力。内存不足，老给关闭，先转到京东云上了，免费的，也不知免费多久。 这是地址2 http://java4cms.jd-app.com/index.html 这是地址 http://bamboocms.jd-app.com/index.html 能够看看，账户 admin passwo ...
分类：
编程语言 时间：
2019-04-05 14:02:58
阅读次数：
131
32位操作系统的寻址空间是4G，其中有2G被操作系统占用，也就是说留给用户进程的内存只有2G（其中还要扣除程序加载时映像占用的部分空间，一般只有1.6G~1.8G左右可以使用）。 如果进程运行中需要申请内存，而操作系统无法为其分配内存空间，则会产生内存不足的异常，在.net中为System.OutO ...
分类：
其他好文 时间：
2019-04-04 17:37:09
阅读次数：
298
BitMap位图算法https://blog.csdn.net/varyall/article/details/79662029常见面试题题1：在2.5亿个整数找出不重复的整数，内存不足以容纳着2.5亿个整数。 方案1：使用2-Bitmap 每个数分配2bit，00表示不存在，01表示出现一次，10 ...
分类：
其他好文 时间：
2019-03-30 22:48:52
阅读次数：
208
1 首先给虚拟机扩容 虚拟机->设置->硬盘->实用程序->扩展磁盘容量 2 启动Ubuntu系统 2.1 打开终端安装gparted，sudo apt-get install gparted；输入sudo gparted打开gparted。 2.2 依次删除"/dev/sda2"、"/dev/sd ...
分类：
系统相关 时间：
2019-03-29 14:48:39
阅读次数：
239
