MVCC(Multiple Version Concurrent Control)多版本并发控制没有一个统一的实现标准。可以认为MVCC是行级锁的一个变种,但是它在很多情况下避免了加锁操作,开销更低。虽然实现机制有所不同,但是大都实现了非阻塞的读操作,写操作只锁定必要的行。MVCC通过保存数据在某个 ...
分类:
数据库 时间:
2018-03-03 16:56:50
阅读次数:
189
查看ES中有那些索引 curl 10.19.14.40:9200/_cat/indices 基于入口redis启动logstash # cat logstash_to_redis.conf input { stdin { } } output { stdout { codec => rubydebu ...
分类:
其他好文 时间:
2018-03-02 01:22:10
阅读次数:
375
Kudu是Cloudera开源的新型列式存储系统,是Apache Hadoop生态圈的新成员之一(incubating),专门为了对快速变化的数据进行快速的分析,填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景,以及架构进行简单介绍。 背景——功能上的空白 Hadoop生态系统有很 ...
分类:
其他好文 时间:
2018-02-11 12:31:56
阅读次数:
168
取web.config中的配置 OutputCache的常用属性 1)CacheProfile:缓存使用的配置文件的缓存名称。 2)Duration:缓存时间,以秒为单位,这个除非你的Location=None,可以不添加此属性,其余时候都是必须的。 3)OutputCacheLocation:枚举 ...
分类:
Web程序 时间:
2018-01-10 11:29:01
阅读次数:
254
1. 背景 本文基于MySQL InnoDB源码对InnoDB中非锁定一致性读是如何实现的作一些简单的探究。 2. 基本概念 2.1 隐藏字段 在经典之作《高性能MySQL》的1.4节中提及了MySQL中MVCC的实现,原著中提及了 InnoDB implements MVCC by storing ...
分类:
数据库 时间:
2018-01-03 00:44:22
阅读次数:
222
1. CouchDB 所用语言: Erlang 特点:DB一致性,易于使用 使用许可: Apache 协议: HTTP/REST 双向数据复制, 持续进行或临时处理, 处理时带冲突检查, 因此,采用的是master-master复制(见编注2) MVCC - 写操作不阻塞读操作 可保存文件之前的版本 ...
分类:
数据库 时间:
2017-12-20 22:45:35
阅读次数:
248
Q:HBase和Solr的不同 hbase 是一个多元KV列存储数据库,可以快速读写,写性能尤为出色,这是一种基于MVCC的方案; solr是基于lucene的企业级数据索引解决方案,但写入性能跟hbase比起来差个量级。所以一般用hbase存数据,solr作二级索引。 HBase可以通过协处理器C ...
分类:
其他好文 时间:
2017-12-19 15:07:18
阅读次数:
150
核心知识点 1.InnoDB:数据和索引存放在单独的文件,聚簇索引,行级锁,事务,MVCC 2.MyISAM: (1)缺点:不支持事务和表级锁,因为不支持表锁,锁颗粒比较大,因此适合只读和小文件。 (2)文件:数据文件和索引文件以.MYD和.MYI结尾。 (3)压缩表:压缩表不能修改,可以减少磁盘占 ...
分类:
数据库 时间:
2017-12-15 13:35:05
阅读次数:
232
一 、背景介绍
近年来,TokuDB作为MySQL的大数据(Big Data)存储引擎受到人们的普遍关注。其架构的核心基于一种新的叫做分形树(Fractal Trees)的索引数据结构,该结构是缓存无关的,即使索引数据大小超过内存性能也不会下降,也即没有内存生命周期和碎片的问题。特别引人注意的是,TokuDB拥有很高的压缩比(官方称最大可达25倍),可以在很大的数据上创建大量的索引,并保持性能不下降。同时,TokuDB支持ACID和MVCC,还有在线修改表结构(Live Schema Modification)以及增加的复制性能等特性,使其在某些特定的应用领域(如日志存储与分析)有着独特的优势。
在TokuDB的应用场景中,通常是数据库插入操作的量远远大于读取的量,因而本此本测试是在公司生产库上增加一个从库,来体验下TokuDB的高压缩比和低存储占用率,而且在相同数据的情况下io使用率更优秀。
本测试是在生产环境中增加一个从库,来验证ToKuDB在大频率写入,小频率读的场景验证。
分类:
数据库 时间:
2017-12-14 19:30:53
阅读次数:
1298
本文同时发表在 "https://github.com/zhangyachen/zhangyachen.github.io/issues/68" 行结构 每一行额外包含三个隐藏字段: DB_TRX_ID:事务ID。行的创建时间和删除时间记录的就是此值。 DB_ROLL_PTR:指向当前记录项的und ...
分类:
数据库 时间:
2017-12-13 02:24:08
阅读次数:
181