锁概述: 锁是计算机协调多个进程或线程并发访问某一资源的机制(避免争抢)。 在数据库中,除传统的计算资源(如 CPU、RAM、I/O 等)的争用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访问性能的一个重要因素。 ...
分类:
数据库 时间:
2020-04-30 15:27:13
阅读次数:
80
什么是OLAP(联机分析处理) 这个是和数据处理非常相关的一个概念。接触过BI(商务智能的同学一定清楚。数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing) ...
分类:
其他好文 时间:
2020-04-30 11:43:20
阅读次数:
78
1. sysbench 介绍 sysbench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数 下的数据库负载情况。 它主要包括以下几种方式的测试: cpu性能 磁盘io性能 调度程序性能 内存分配及传输速度 POSIX线程性能 数据库性能(OLTP基准测试) 目前sys ...
分类:
其他好文 时间:
2020-04-22 16:26:52
阅读次数:
63
衡量指标 IOPS (Input/Output Per Second)即每秒的输入输出量(读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。随机读写频繁的应用,如OLTP(Online ...
分类:
其他好文 时间:
2020-04-19 12:57:17
阅读次数:
55
一、数据仓库的概念: 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的 ...
分类:
其他好文 时间:
2020-03-31 14:45:16
阅读次数:
77
用于数据分析的 OLAP 系统的主要特点就是数据量非常大,并发访问不多,但每次访问所需要检索的数据量都比较多,而且数据访问相对较为集中,没有什么比较明显的活跃数据概念。 OLAP 即联机分析处理,是数据仓库的核心部心,所谓数据仓库是对于大量已经由 OLTP 形成的数据的一种分析型的数据库,用于处理商 ...
分类:
其他好文 时间:
2020-03-28 19:52:06
阅读次数:
71
1、概念 presto是一个开源的分布式SQL查询引擎 数量支持GB到PB字节 主要用来处理秒级查询的场景 注意: 虽然presto可以解析SQL,但它不是一个标准的数据库不是mysql,oracle的代替品,也不能用来处理在线事务(OLTP) 2、Presto架构 presto由一个coordin ...
分类:
其他好文 时间:
2020-03-19 15:23:35
阅读次数:
57
出处: 理解I/O:随机和顺序 随机 I/O & 顺序 I/O 先看一篇译文介绍 随机I/O 顺序I/O Storage for DBAs: Ever been to one of those sushi restaurants where the food comes round in dishe ...
分类:
其他好文 时间:
2020-03-09 13:08:29
阅读次数:
98
OLTP与OLAP的介绍 数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银 ...
分类:
其他好文 时间:
2020-03-04 09:24:05
阅读次数:
82
5.1 OLTP与OLAP 数据库系统一般分为两种类型:OLTP、OLAP: OLTP(On-Line Transaction Processing,联机事务处理)系统:也称为生产系统,它是事件驱动的、面向应用的,比如电子商务网站的交易系统就是一个典型的OLTP系统。 OLTP的基本特点: 数据在系 ...
分类:
其他好文 时间:
2020-02-24 16:38:08
阅读次数:
69