构建高性能服务 ConcurrentSkipListMap和链表构建高性能Java Memcached场景缓存服务器是互联网后端服务中常用的基础设施。场景(一)图片服务器上存储了大量图片,为了提高图片服务的吞吐量,希望把热门的图片加载到内存中。场景(二)分布式存储服务,为提高访问吞吐,把大量的met...
分类:
其他好文 时间:
2015-06-14 20:01:52
阅读次数:
126
回答几个网友提出的问题,不清楚的可以看上一篇内容。
1、
kafka的删除策略应该怎么配置?为了提升性能,我是不是应该1小时删除一次消费过的数据。
完全可以根据磁盘大小配置,只要磁盘足够用,完全没必要删除的那么着急。Kafka的吞吐量不会因为数据量的增长而降低。因为读写数据时,kafka完全是顺序的,只记录offset,时间复杂度是O(1),我曾经测试过上T的数据,完全不受影响。反倒是数...
分类:
其他好文 时间:
2015-06-12 10:11:11
阅读次数:
112
1、性能调优概述性能问题的症状响应时间慢吞吐量低资源占用高(CPU、Memory、I/0等)数据库角度数据库逻辑设计数据库物理设计(存储规划)SQL语句数据库调优关键I/O最关键减少I/O最大化I/O效率存储规律,物理设计CPU两个杀手表扫描排序Memory命中率可能会骗人SQL是一切问题的根源2..
分类:
数据库 时间:
2015-06-12 01:06:25
阅读次数:
377
PS:下面是性能测试的主要概念和计算公式,记录下:一.系统吞度量要素:一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。系统吞吐量几个重要参数:QPS(TPS)、并发...
分类:
其他好文 时间:
2015-06-11 14:17:05
阅读次数:
98
1.CPU调度的概念
CPU调度是指按照一定的调度算法从就绪队列中选择一个进程,把CPU的使用权交给被选中的进程。
如果没有就绪进程,系统会安排一个系统空闲进程或者idle进程上CPU运行。
2.衡量调度算法的指标
吞吐量——单位时间完成的进程的数目。
周转时间——每个进程从提出请求到运行完成的时间。
响应时间——从提出请求到第一次回应的时间。
CPU利用率——CPU做有效工作...
分类:
编程语言 时间:
2015-06-11 09:31:09
阅读次数:
161
服务器出厂时,BIOS默认达到了性能和能耗之间的良好平衡,以适应一般环境,但是在高负载环境中,就需要对服务器进行优化不需要节能模式(720xd机器load到20+就尼玛自己hang了),以获得最大的吞吐量或最低的延迟以下是dellR710的配置调整*可测试自身的环境,以确定Turbo模式是..
分类:
移动开发 时间:
2015-06-11 00:28:22
阅读次数:
125
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapRedu...
分类:
Web程序 时间:
2015-06-10 19:32:12
阅读次数:
130
Storm风暴和Spark Streaming都是分布式流处理的开源框架。区别如下:
1、处理延时和吞吐量
Storm处理的是每次传入的一个事件,Spark Streaming是处理某个时间段窗口内的事件流,Storm处理一个事件可以达到秒内的延迟,而Spark Streaming则有几秒钟的延迟。因此,Spark Streaming比Storm的延时更长,但是吞吐量比Storm大。
...
分类:
其他好文 时间:
2015-06-08 23:25:42
阅读次数:
188
我在Linux(基于CentOS 或者 Debian 的发行版)中该如何查看当前网络端口吞吐量的统计信息?在Linux操作系统中如何查看当前内核snmp计数器以及网络端口的统计信息?你可以使用以下任何一个命令:nstat 命令 : 网络统计工具键入以下命令:# nstat输出样例:#kernelIp...
分类:
系统相关 时间:
2015-06-08 13:15:10
阅读次数:
364
查询速度慢的原因很多,常见如下几种: 1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2、I/O吞吐量小,形成了瓶颈效应。 3、没有创建计算列导致查询不优化。 4、内存不足 5、网络速度慢 6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量) 7、...
分类:
数据库 时间:
2015-06-03 17:36:44
阅读次数:
195