1 加大map，与reduce执行内存，由2改为3 2 yarn.nodemanager.vmem-pmem-ratio默认参数是2.1 调大可以减少物理内存出现不足的情况。只要参数值*分配的内存>需要的内存值，就不会报错。 3 添加spark shuffle 4 hbase region 大小设置 ...
分类：
其他好文 时间：
2017-04-09 20:13:51
阅读次数：
1965
linux中手动释放缓存的方法Linux释放内存的相关知识介绍：在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，例如当你在linux下频繁存取文件后,物理内存会很快被用光,当..
分类：
系统相关 时间：
2017-04-08 16:25:26
阅读次数：
258
uname 显示计算机及操作系统相关的信息，uname -a显示全部信息，uname -r内核的发行号，各种信息可以有单独的选项分别指出 dmesg 显示系统诊断信息、操作系统版本号、物理内存大小和其他信息，诊断和控制系统内核环形缓冲 -c 输出后清空环形缓冲区 -r 输出原始消息缓存 -s buf ...
分类：
其他好文 时间：
2017-04-08 12:27:04
阅读次数：
249
案例1：15万PV/天左右的在线文档类型网站最近更换了硬件系统,新的硬件为4个CPU、16GB物理内存,操作系统为64位CentOS 5.4 , Resin作为Web服务器。整个服务器暂时没有部署别的应用,所有硬件资源都可以提供给这访问量并不算太大的网站使用。管理员为 了尽量利用硬件资源选用了64位... ...
分类：
其他好文 时间：
2017-04-05 20:30:05
阅读次数：
199
为什么需要页面置换算法 操作系统只把应用程序中“常用”的数据和代码放在物理内存中，而不常用的数据和代码放在了硬盘这样的存储介质上。如果应用程序访问的是“常用”的数据和代码，那么操作系统已经放置在内存中了，不会出现什么问题。但当应用程序访问它认为应该在内存中的的数据或代码时，如果这些数据或代码不在内存... ...
分类：
编程语言 时间：
2017-04-04 10:35:47
阅读次数：
496
指针就是容纳着一个地址的变量。利用指针来减少数据复制，以及更改原始数据，还可以在内存里构造出链表和内部网络等复杂数据结构。 每种计算机体系结构使用的地址都有某一固定的宽度，能一眼看出某个地址是否过大以至于不适用某个特定的计算机，这种能力很重要。 目前电脑的物理内存已经超过了32位地址的寻址范围（40 ...
分类：
编程语言 时间：
2017-04-02 21:54:50
阅读次数：
159
Oracle 简介Oracle 是殷墟出土的甲骨文 (oracle bone inscriptions) 的英文翻译的第一个单词Oracle 公司是全球最大的信息管理软件及服务供应商，成立于1977年，总部位于美国加州 Redwood shoreOracle 公司因其复杂的关系数据库产品而闻名Ora... ...
分类：
数据库 时间：
2017-04-02 15:38:26
阅读次数：
197
转自： http://www.cnblogs.com/memewry/archive/2012/08/22/2651696.html 一、进程/线程间同步机制。 临界区、互斥区、事件、信号量四种方式临界区（Critical Section）、互斥量（Mutex）、信号量（Semaphore）、事件（ ...
分类：
编程语言 时间：
2017-03-30 10:23:02
阅读次数：
332
1、Redis和Memcache都是将数据存放在内存中，都是内存数据库。不过memcache还可用于缓存其他东西，例如图片、视频等等； 2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储； 3、虚拟内存--Redis当物理内存用完时，可以将一些很久没 ...
分类：
系统相关 时间：
2017-03-21 12:49:31
阅读次数：
130
进程通信之_内存共享概念：共享内存是被多个进程共享的一部分物理内存。共享内存是进程间的共享数最快的方法，一个进程向共享内存区域写入数据，共享这个内存区域的所有进程就可以写入数据，所有进程就可以立刻看到其中的内容。实现步骤;1、创建共享内存，使用shmget函数2、映..
分类：
系统相关 时间：
2017-03-19 22:43:06
阅读次数：
196
