当今时代，企业数据越发膨胀。数据是企业的价值，但数据处理也是一种技术挑战。在海量数据处理的场景，即使单机计算能力再强，也无法满足日益增长的数据处理需求。所以，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类典型产品，分别是分布式存储和分布式计算。用户只有将两者的特性充分利用，才可以真正发 ...
分类：
数据库 时间：
2019-10-31 18:07:32
阅读次数：
126
ES 发布时带有的默认值，可为 ES 的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用，当你更清楚的知道你想如何使用 ES 后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置。 第一部分：调优索引速度 使用批量请求批量请求将 ...
分类：
其他好文 时间：
2019-10-31 16:10:02
阅读次数：
92
1、JVM参数配置优化 如果使用的CMS GC算法，建议JVM Heap不要太大，在4GB以内就可以。JVM太大，导致Major GC或者Full GC产生的“stop the world”时间过长，导致broker和zk之间的session超时，比如重新选举controller节点和提升follo ...
分类：
其他好文 时间：
2019-10-31 10:37:50
阅读次数：
297
1 whoami 查看当前登录用户 useradd zhang 增加用户 passwd zhang su - zhang 切换用户 echo 123456|passwd --stdin zhang root账户修改其它用户密码 history -d 行数 （清除对应行数历史记录） history - ...
分类：
系统相关 时间：
2019-10-29 12:01:53
阅读次数：
99
本文简单介绍下后端服务开发中常用的一些性能优化策略。 1、代码 优化代码实现是第一位的，特别是一些不合理的复杂实现。如果结合需求能从代码实现的角度，使用更高效的算法或方案实现，进而解决问题，那是最简单有效的。 2、数据库 数据库的优化，总体上有3个方面： 1） SQL调优：除了掌握SQL基本的优化手 ...
分类：
其他好文 时间：
2019-10-28 20:43:59
阅读次数：
222
熵值调整 参考 ： http://ju.outofmemory.cn/entry/158367 熵值就是linux产生的系统随机数 验证文件。 tomcat 文件句柄数调整 一般优化调整的是 系统的文件句柄数 但是单个进程的是没有调整的 查看单个进程的当前打开的文件句柄 查看单个进程的，最大文件句柄 ...
分类：
其他好文 时间：
2019-10-28 14:42:43
阅读次数：
92
一：Spark的性能优化，主要手段包括：1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化 / Checkpoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优6、提高并行度7、广播共享数据8、数据本地化9、reduceByKey和groupByKey的合理使用10 ...
分类：
其他好文 时间：
2019-10-27 22:29:23
阅读次数：
59
1、避免创建重复的RDD和不必要的内存空间浪费 错误代码： 错误解析： 这种情况下，Spark需要从文件中加载两次hello.txt文件的内容，并创建两个单独的RDD；第二次加载HDFS文件以及创建RDD的性能开销，很明显是白白浪费掉的 正确代码： 2、尽最大可能复用同一个RDD 错误代码： 错误解 ...
分类：
其他好文 时间：
2019-10-27 15:04:12
阅读次数：
103
最近在做ES搜索调优，看了一些lucene搜索的文档和代码，本文用于总结调优过程中学到的知识和自己的思考。 在抓到ES慢查询之后，会通过profile或者kibana的Search Profiler console查看具体慢在了哪里。一般在执行profile search之前，需要稍微改变query ...
分类：
其他好文 时间：
2019-10-27 11:11:54
阅读次数：
209
[TOC]一、MapReduce跑得慢的原因1）计算机性能?CPU、内存、磁盘健康、网络。文件系统可以设置文件访问时，不更新atime2）I/O操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（5）大量的不可分块的超大文件（6）spill次数过多（7）merge次数过多等。二、优化方案?MapReduce优化方法主要从几
分类：
其他好文 时间：
2019-10-26 21:01:31
阅读次数：
169
