这篇paper比较老,是列存比较基础的论文 几乎所有列存,或olap的论文都会引用这篇 行存面向写,支持OLTP 列存面向读,支持OLAP 基于磁盘的DBMS,瓶颈基本在磁盘IO,所有做的工作都是用多余的cpu来换取磁盘IO 总体的思路,压缩让需要存的数据更小,densepack,更多的数据一起存, ...
分类:
数据库 时间:
2019-12-20 13:26:50
阅读次数:
94
自2006年至今十余年来,金融行业内容管理系统通常采用Documentum+DB+NAS的整体解决方案,如下图1所示,Documentum结合DB的索引能力和NAS的存储能力,向上为影像平台等业务提供文档数据的存储和检索读取服务。近年来随着非结构化数据的爆发性增长,由于Documentum系统架构问题,此套解决方案出现了明显性能瓶颈,杉岩海量对象存储系统(SandStoneMOS)采用全分布式架构
分类:
其他好文 时间:
2019-12-19 21:36:32
阅读次数:
92
前言 使用Kafka也有一段时间了, 主要还是作为生产者推送数据到其它业务方, 作为生产者编写代码并不多, 因为客户端内部做了太多的处理, 同时也不太容易达到性能瓶颈, 大多情况也只是改变一下发送消息的路由策略. 即便如此面对众多参数如果不理解一条消息从发送到Kafka集群中间经历什么, 那么设置这 ...
分类:
其他好文 时间:
2019-12-19 09:42:19
阅读次数:
99
一:服务器性能测试范围 测试目的:发现服务器的性能瓶颈。配置的不同能够承载的最大任务数不同,能够承载的压力不同。 测试范围及性能指标 CPU: 内存:比磁盘的读写速度快。万一服务挂了,数据就没了。 磁盘:万一服务挂了,数据还存在。 网络: 版本:操作系统版本,应用系统的版本(数据库版本,redis版 ...
分类:
系统相关 时间:
2019-12-18 14:34:47
阅读次数:
98
基于 Mycat 1.6.7.3 版本 1 为什么要分库分表 1.1 数据库性能瓶颈的出现 对于应用来说,如果数据库性能出现问题,要么是无法获取连接,是因为在高并发的情况下连接数不够了。要么是操作数据变慢,数据库处理数据的效率除了问题。要么 是存储出现问题,比如单机存储的数据量太大了,存储的问题也可 ...
分类:
其他好文 时间:
2019-12-17 23:59:49
阅读次数:
138
Data Serialization 对spark程序来说,可能会产生的瓶颈包括:cpu,网络带宽,内存 在任何分布式应用中数据序列化都非常重要,数据序列化带来的作用是什么?第一减少内存占用,第二减小网络传输带宽消耗。spark提供了两种序列化方式: 1.Java serialization 默认情 ...
分类:
其他好文 时间:
2019-12-17 15:01:16
阅读次数:
86
原文:Visual Studio 使用 Parallel Builds Monitor 插件迅速找出编译速度慢的瓶颈,优化编译速度 ... ...
分类:
其他好文 时间:
2019-12-17 00:50:25
阅读次数:
112
压力测试、负载测试、强度测试、并发(用户)测试、大数据量测试、配置测试、可靠性测试 压力测试: 对系统不断施加压力的测试,是通过确定一个系统的瓶颈或不能接收用户请求的性能点,来获得系统能提供的最大服务级别的测试 负载测试: 对系统不断地增加压力或增加一定压力下的持续时间,直到系统的一些性能指标达到极 ...
分类:
其他好文 时间:
2019-12-15 23:35:59
阅读次数:
120
近年来, CPU的处理性能保持着高速增长,Intel公司在2017年最新发布的i9-7980XE处理器芯片更是达到了18核心36线程。但与此同时,硬盘设备的性能提升却不是很大,因此逐渐成为当代计算机整体性能的瓶颈。而且,由于硬盘设备需要进行持续、频繁、大量的IO操作,相较于其他设备,其损坏几率也大幅 ...
分类:
其他好文 时间:
2019-12-15 14:38:35
阅读次数:
179
原文:MySql单表最大8000W+ 之数据库遇瓶颈记 前言 昨晚救火到两三点,早上七点多醒来,朦胧中醒来发现电脑还开着,赶紧爬起来看昨晚执行的SQL命令结果。由于昨晚升级了阿里云的RDS,等了将近两个小时 还在 升降级中,早上阿里云那边回复升级过程中出现异常,正在加紧处理。。。有点蛋疼 项目介绍 ... ...
分类:
数据库 时间:
2019-12-14 10:03:34
阅读次数:
150