一：Spark的性能优化，主要手段包括：1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化 / Checkpoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优6、提高并行度7、广播共享数据8、数据本地化9、reduceByKey和groupByKey的合理使用10 ...
分类：
其他好文 时间：
2019-10-27 22:29:23
阅读次数：
59
1、避免创建重复的RDD和不必要的内存空间浪费 错误代码： 错误解析： 这种情况下，Spark需要从文件中加载两次hello.txt文件的内容，并创建两个单独的RDD；第二次加载HDFS文件以及创建RDD的性能开销，很明显是白白浪费掉的 正确代码： 2、尽最大可能复用同一个RDD 错误代码： 错误解 ...
分类：
其他好文 时间：
2019-10-27 15:04:12
阅读次数：
103
1. 配置nginx gzip压缩功能 服务器对发出的内容进行压缩，带宽少了，体验好，速度快，但是服务端压，会使cpu使用高，压缩比高的进行压缩：文本、程序文件、数据文件。图片视频不要压缩，一般不会减少，而且占比cpu大。 gzip on ：压缩配置 gzip_min_length 1k gzip_ ...
分类：
Web程序 时间：
2019-10-27 14:36:21
阅读次数：
113
最近在做ES搜索调优，看了一些lucene搜索的文档和代码，本文用于总结调优过程中学到的知识和自己的思考。 在抓到ES慢查询之后，会通过profile或者kibana的Search Profiler console查看具体慢在了哪里。一般在执行profile search之前，需要稍微改变query ...
分类：
其他好文 时间：
2019-10-27 11:11:54
阅读次数：
209
apache压缩源码包挂载，解压（可参考博客LAMP）解压源码包和组件包到目录/opt将二个组件包放入代码包中安装环境包配置编译，安装（make，makeinstall）将主配置文件建立软链接!进入配置文件开启功能模块过滤器请求头部重启服务，关闭防火墙，增强功能在客户端安装抓包工具fidder，测试加入图片测试apache缓存和压缩模块一样，增加一个缓存模块--enable-expires，编译
分类：
Web程序 时间：
2019-10-26 23:11:45
阅读次数：
124
[TOC]一、MapReduce跑得慢的原因1）计算机性能?CPU、内存、磁盘健康、网络。文件系统可以设置文件访问时，不更新atime2）I/O操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（5）大量的不可分块的超大文件（6）spill次数过多（7）merge次数过多等。二、优化方案?MapReduce优化方法主要从几
分类：
其他好文 时间：
2019-10-26 21:01:31
阅读次数：
169
tomact调优：可以考虑从内存,并发,缓存,安全,网络,系统等进行入手 内存优化修改内存等 JVM相关配置Linux下修改TOMCAT_HOME/bin/catalina.shJAVA_OPTS="-server -XX:PermSize=512M -XX:MaxPermSize=1024m -X ...
分类：
其他好文 时间：
2019-10-26 15:38:23
阅读次数：
81
Go性能调优 在计算机性能调试领域里，profiling 是指对应用程序的画像，画像就是应用程序使用 CPU 和内存的情况。 Go语言是一个对性能特别看重的语言，因此语言中自带了 profiling 的库，这篇文章就要讲解怎么在 golang 中做 profiling。 Go性能优化 Go语言项目中 ...
分类：
其他好文 时间：
2019-10-26 12:03:38
阅读次数：
80
最近把搜索后端从AWS cloudsearch迁到了AWS ES和自建ES集群。测试发现search latency高于之前的benchmark，可见模拟数据远不如真实数据来的实在。这次在产线的backup ES上直接进行测试和优化，通过本文记录search调优的主要过程。 问题1：发现AWS ES ...
分类：
其他好文 时间：
2019-10-26 10:19:54
阅读次数：
217
搭建apache服务将源码包挂载到linux系统上的/mnt目录，并解压到/opt目录，其中以apr开头的二个包是apache的跨平台组件包，以h开头的包是源码包。将组件包放入apache代码包srclib目录下安装环境包gccgcc-c++(语言编译器)，make(将源代码转化为二进制可执行文件)，perl,pcre-level,expat-level环境搭好后，我们进行配置，在源码包中可以看见
分类：
其他好文 时间：
2019-10-24 18:17:36
阅读次数：
121
