用dmesg显示如下图信息 问题原因： 默认情况下， Linux会最多使用40%的可用内存作为文件系统缓存。当超过这个阈值后，文件系统会把将缓存中的内存全部写入磁盘， 导致后续的IO请求都是同步的。 将缓存写入磁盘时，有一个默认120秒的超时时间。 出现上面的问题的原因是IO子系统的处理速度不够快， ...
分类：
系统相关 时间：
2019-05-24 14:37:17
阅读次数：
149
Container 是 YARN 中基本的处理单元，它是对内存、CPU等计算的封装。总的来说，每个core每块硬盘 分配2个 container，能获得较好的集群利用率。 1. 确定可用内存大小。 对于每台主机来说，YARN 和 MapReduce 能用内存大小是除去预留给系统的内存（如果还有 HB ...
分类：
其他好文 时间：
2019-05-08 14:33:06
阅读次数：
131
一 定义 外部排序指的是大文件的排序，即待排序的记录存储在外存储器上，待排序的文件无法一次装入内存，需要在内存和外部存储器之间进行多次数据交换，以达到排序整个文件的目的。 二 处理过程 （1）按可用内存的大小，把外存上含有n个记录的文件分成若干个长度为L的子文件，把这些子文件依次读入内存，并利用有效 ...
分类：
编程语言 时间：
2019-04-25 01:04:57
阅读次数：
135
系统性能优化--前提 对于性能优化，最大的挑战就是性能分析，而性能分析要求我们对于操作系统，网络等关键部件的性能要了如指掌，名字各个部位的执行时间数量级，做出合理的判断。 性能监控-》性能分析》性能调整》性能监控 （这是一个循环的过程，反复执行） 性能监控= os资源+jvm（java）资源+DB资 ...
分类：
其他好文 时间：
2019-04-21 00:26:28
阅读次数：
164
java -Xmx3550m -Xms3550m -Xmn2g -Xss128k-Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置JVM促使内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。-Xmn2g：设置年轻代大小为2G。整个 ...
分类：
其他好文 时间：
2019-04-10 16:37:29
阅读次数：
150
问题原因： 默认情况下， Linux会最多使用40%的可用内存作为文件系统缓存。当超过这个阈值后，文件系统会把将缓存中的内存全部写入磁盘， 导致后续的IO请求都是同步的。 将缓存写入磁盘时，有一个默认120秒的超时时间。 出现上面的问题的原因是IO子系统的处理速度不够快，不能在120秒将缓存中的数据 ...
分类：
系统相关 时间：
2019-03-29 13:22:22
阅读次数：
326
什么是线程池？ 线程池是指在初始化一个多线程应用程序过程中创建一个线程集合，然后在需要执行新的任务时重用这些线程而不是新建一个线程。线程池中线程的数量通常完全取决于可用内存数量和应用程序的需求。然而，增加可用线程数量是可能的。线程池中的每个线程都有被分配一个任务，一旦任务已经完成了，线程回到池子中并 ...
分类：
编程语言 时间：
2019-03-22 18:59:43
阅读次数：
167
socket编程socket这个词可以表示很多概念，在TCP/IP协议中“IP地址 + TCP或UDP端口号”唯一标识网络通讯中的一个进程，“IP + 端口号”就称为socket。在TCP协议中，建立连接的两个进程各自有一个socket来标识，那么两个socket组成的socket pair就唯一标 ...
分类：
其他好文 时间：
2019-03-20 22:14:37
阅读次数：
179
定义 内存泄漏：应用程序不再需要的内存，由于某种原因，内存没有返回到操作系统或可用内存池中。 原因 1.意外的全局变量 JS 在处理未声明的变量时，对未声明的变量的引用会在全局对象内创建一个新变量。这些全局变量是无法进行垃圾回收的（除非将它们赋值为 null 或重新进行分配），所以对于存储大量数据的 ...
分类：
其他好文 时间：
2019-03-20 01:21:20
阅读次数：
335
nginx调优方向： 1、所用事件处理模型 2、进程数 3、每个进程的连接数 4、压缩 5、缓存 tomcat调优方向： 1、内存 2、总内存 3、初始申请内存 4、线程内存 5、GC方面 tomcat和nginx往往不会是瓶颈的所在，瓶颈一般跟后端数据处理及代码逻辑方面有关系，并且在项目中如何利用 ...
分类：
Web程序 时间：
2019-03-02 23:34:38
阅读次数：
219
