讨论QQ：1586558083 目录 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 某个task执行特别慢的情况 某个task莫名其妙内存溢出的情况 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二： ...
分类：
其他好文 时间：
2019-06-11 13:00:13
阅读次数：
135
讨论QQ：1586558083 目录 一、概述 二、堆内和堆外内存规划 2.1 堆内内存 2.2 堆外内存 2.3 内存管理接口 三、内存空间分配 3.1 静态内存管理 3.2 统一内存管理 四、存储内存管理 4.1 RDD 的持久化机制 4.2 RDD 缓存的过程 4.3 淘汰和落盘 五、 执行内 ...
分类：
其他好文 时间：
2019-06-11 12:41:51
阅读次数：
103
学习JVM运行模型比较重要,先看一幅图片: 运行时数据区（内存结构） : 1.方法区（Method Area）类的所有字段和方法字节码，以及一些特殊方法如构造函数，接口代码也在这里定义。简单来说，所有定义的方法的信息都保存在该区域，静态变量+常量+类信息（构造方法/接口定义）+运行时常量池都存在方法 ...
分类：
其他好文 时间：
2019-06-09 23:57:53
阅读次数：
247
replica副本同步机制 1 前言 Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。 Kafka特性之一是它的复制协议。复制协议是保障kafka高可靠性的关键。对于单个集群中每个Broker不同工作负载情况下，如何自动调优Kafk ...
分类：
其他好文 时间：
2019-06-09 18:08:58
阅读次数：
117
前提 最近由于系统业务量比较大，从生产的GC日志(结合Pinpoint)来看，需要对部分系统进行GC调优。但是鉴于以往不是专门做这一块，但是一直都有零散的积累，这里做一个相对全面的总结。本文只针对 也就是 或者 ，版本为Java8，其他VM不一定适用。 什么是GC(Garbage Collectio ...
分类：
编程语言 时间：
2019-06-09 12:39:45
阅读次数：
119
一、深入java虚拟机—JVM视频课程 深入JVM(Java Virtual Machine) java内存模型 java内存模型概览 在运行时数据区之中内存的分配一共有五个模块： 1、堆内存Heap：保存真正的程序的数据的部分。 2、栈Stack：保存堆内存的地址、基本数据、方法的执行； 3、方法 ...
分类：
其他好文 时间：
2019-06-07 00:28:12
阅读次数：
104
自动内存管理机制 Java虚拟机原理 所谓虚拟机，就是一台虚拟的机器。他是一款软件，用来执行一系列虚拟计算指令，大体上虚拟机可以分为 系统虚拟机和程序虚拟机， 大名鼎鼎的Visual Box、Vmare就属于系统虚拟机，他们完全是对物理计算的仿真， 提供了一个可以运行完整操作系统的软件平台。 程序虚 ...
分类：
其他好文 时间：
2019-06-06 19:10:33
阅读次数：
115
一.java性能调优的标准 cpu：有的应用需要大量计算，他们会长时间、不间断地占用 CPU 资源，导致其他资源无法争夺到 CPU 而响应缓慢，从而带来系统性能问题。例如，代码递归导致的无限循环，正则表达式引起的回溯，JVM 频繁的 FULL GC，以及多线程编程造成的大量上下文切换等，这些都有可能 ...
分类：
编程语言 时间：
2019-06-03 21:38:57
阅读次数：
127
×××相关问题一般服务器中配置文档需要备份哪些调优涉及过哪些你能给我说说lvs的五种模式，解释一下如果说有人***我，我还不想拒绝他的链接，但我要把它限制在每分种100次链接，用iptables怎么做Shell编程做的怎么样啊lvsdr模式下怎么防止ARP***yum库是怎么做的远程连接不能让root，但能让其他用户登陆，但可以用其他用户去切换到root下操作在一个系统中，cpu正常，内存使用非常大，
分类：
其他好文 时间：
2019-06-03 09:27:52
阅读次数：
108
sql调优的总结 当单个列过滤之后还有很多数据，那么索引的效率将会比较低，即列的区分度较低 如果在多个列上建立索引，那多个列的区分度就大多了，将会有显著的效率提高 ...
分类：
数据库 时间：
2019-05-31 11:43:42
阅读次数：
107
