初次尝试用 Spark+scala 完成项目的重构，由于两者之前都没接触过，所以边学边用的过程大多艰难。首先面临的是如何快速上手，然后是代码调优、性能调优。本章主要记录自己在项目中遇到的问题以及解决方式，下篇会尝试调优方法。末尾会分享自己的学习资料，也供大多菜鸟第一次使用作为参考。由于自己项目中大量 ...
分类：
其他好文 时间：
2018-10-25 20:16:08
阅读次数：
222
Spark Core面试篇01 随着Spark技术在企业中应用越来越广泛，Spark成为大数据开发必须掌握的技能。前期分享了很多关于Spark的学习视频和文章，为了进一步巩固和掌握Spark，在原有spark专刊基础上，新增《Spark面试2000题》专刊，题集包含基础概念、原理、编码开发、性能调优 ...
分类：
其他好文 时间：
2018-10-21 22:57:15
阅读次数：
1920
1、perf命令简要介绍 性能调优时，我们通常需要分析查找到程序百分比高的热点代码片段，这便需要使用 perf record 记录单个函数级别的统计信息，并使用 perf report 来显示统计结果； 举例： -g 选项是告诉perf record额外记录函数的调用关系 -e cpu-clock ...
分类：
其他好文 时间：
2018-10-14 20:59:43
阅读次数：
166
服务发现、服务治理和性能调优:这三类配置不是独立存在的，而是贯穿在所有配置项中的，比如dubbo:service 标签中的interface 是服务发现类， timeout是性能调优类， mock 是服务治理类，这三大类的作用分别如下。 1.服务发现类：表示该配置项用于服务的注册与发现，目的是让消费 ...
分类：
其他好文 时间：
2018-10-11 17:00:30
阅读次数：
309
性能测试中除了需要做好性能测试外，我们还需要做性能测试后的，性能调优，需要发现性能问题，也需要做性能调优，在做性能调优中，jvm的性能调优是经常遇到的一个。 随着jdk版本的迅速变化，jdk里面的GC算法也是发生了很多变化，新版的jdk中，G1的已经成了jdk的默认算法了，性能测试中，我们经常关注的 ...
分类：
编程语言 时间：
2018-10-03 22:10:18
阅读次数：
419
测试与优化 学号1：211606367 姓名：林恩 学号2：211606445 姓名：肖志豪 一、预估与实际 | PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） | | | | | | | Planning | 计划 | ...
分类：
其他好文 时间：
2018-09-27 22:55:14
阅读次数：
211
1、环境： 系统：Windows、Linux Tomcat版本：9 2、编码与性能调优 server.xml文件： 参数说明： org.apache.coyote.http11.Http11NioProtocol：调整工作模式为Nio maxThreads：最大线程数，默认150。增大值避免队列请求 ...
分类：
其他好文 时间：
2018-09-19 16:10:43
阅读次数：
118
这周我们对项目里新增的几个接口进行了压力测试，期间遇到了一些之前没有遇到过的坑，走了一些弯路，在这里对这次压力测试经历进行总结复盘，同时也希望能给看到这篇文章的诸位提供一些浅显的思路。〇、经验总结：
* 如果在压测过程中，压力始终上不去，可以考虑是施压机器并发上不去，或者被压机器请求处理不过来。
* 施压上不去或者被压机器请求处理不过来，是因为机器CPU瓶颈？内存瓶颈？端口数量瓶颈？逐步排查定位。
* 类似于Grpc这类需要建立rpc连接的请求，可扩展端口的数量会影响并发时连接建立数量。
* 长链路的压测链，在定位问题时可以先从短链开始逐步排查扩展到长链，最终完成整个链路的压力测试。
* 关注压测过程中可能出现的异常现象，哪怕是很不明显的地方，都可能会存在一个BUG。
分类：
其他好文 时间：
2018-09-14 01:04:53
阅读次数：
301
了解LINUX TCP/IP的参数配置是网络性能调优的前提，但是要清楚的记得这几十个参数也不容易，为了方便下次查看，所以查找了linux的manual手册和网上的资料。主要列出了“/proc/sys/net/ipv4”下面的参数。 1.IP 参数 ●ip_always_defrag： 在LINUX早 ...
分类：
其他好文 时间：
2018-09-07 20:08:48
阅读次数：
381
（一）关于存储引擎 创建合适的索引是SQL性能调优中最重要的技术之一。在学习创建索引之前，要先了解MySql的架构细节，包括在硬盘上面如何组织的，索引和内存用法和操作方式，以及存储引擎的差异如何影响到索引的选择。 MySQL有很多种衍生版本，这些衍生版本支持更多不同种类的存储引擎。本文主要讨论三种M ...
分类：
数据库 时间：
2018-09-06 22:54:30
阅读次数：
218
