数据库作为业务的核心,在整个基础软件栈中是非常重要的一环。近几年社区也是新的方案和思想层出不穷,接下来我将总结一下近几年一些主流的开源数据库方案和背后的设计思想以及适用场景。本人才疏学浅如有遗漏或者错误请见谅。本次分享聚焦于数据库既结构化数据存储 OLTP 及 NoSQL 领域,不会涉及 OLAP、... ...
分类:
数据库 时间:
2016-07-01 18:05:42
阅读次数:
291
4.2、合理使用排序Oracle的排序算法一直在优化,但是总体时间复杂度约等于nLog(n)。普通OLTP系统排序操作一般都是在内存里进行的,对于数据库来说是一种CPU的消耗,曾在PC机做过测试,单核普通CPU在1秒钟可以完成100万条记录的全内存排序操作,所以说由于现在CPU的性能增强..
分类:
数据库 时间:
2016-07-01 16:37:59
阅读次数:
252
54款 BI商业智能开源软件 MySQL数据仓库解决方案 Infobright OLAP 分析引擎 Apache Kylin 数据处理和分发系统 Apache NiFi OLAP 数据查询引擎 Druid Analytics OLAP 存储和分析系统 Pinot OLAP报表展示标签库 JPivot ...
分类:
其他好文 时间:
2016-07-01 06:31:53
阅读次数:
192
Mysql引擎介绍Innodb存储引擎支持事务,在OLTP方面支持行级锁、外键;通过多版本并发控制MVCC来获得高并发性,并实现SQL的4种隔离级别(默认repeatable);提供insertbuffer,doublewrite,自适应hash索引,预读;对于表中数据的存储,innodb采用clustered。每张表的存储按照主..
分类:
数据库 时间:
2016-06-24 13:08:47
阅读次数:
212
随着大数据分析时代的到来,全方位的数据分析能力已经成为当今企业不可或缺的竞争力。企业全方位的数据分析能力根据分析的级别和功能领域的划分通常包括了:常规报表、即席查询、多维分析(又称为钻取或者OLAP)、预警、统计分析、预测、预测型建模(预测性predictive模型)和..
分类:
其他好文 时间:
2016-06-16 11:48:50
阅读次数:
188
数据库切分概述OLTP和OLAP在互联网时代,海量数据的存储与访问成为系统设计与使用的瓶颈问题,对于海量数据处理,按照使用场景,主要分为两种类型:联机事务处理(OLTP)和联机分析处理(OLAP)。联机事务处理(OLTP)也称为面向交易的处理系统,其基本特征是原始数据可以立即..
分类:
其他好文 时间:
2016-06-09 16:01:52
阅读次数:
233
摘自《VLDBandPartitioningGuide》1、介绍parallelexecution并行执行功能可以让单个数据库操作在多个CPU和IO设备上进行执行。在DSS和数据仓库系统等大数据量系统中,它可以极大地减少响应时间。在OLTP系统中,它对批量操作以及类似创建索引的系统维护任务也有用武之地。其只要..
分类:
数据库 时间:
2016-06-07 13:19:28
阅读次数:
619
Saiku是一个模块化的开源分析套件,它提供轻量级的OLAP(联机分析处理),并且可嵌入、可扩展、可配置。 主页:http://community.meteorite.bi 如何安装摘自: http://www.tuicool.com/articles/qERZbyi license的获取 http... ...
分类:
其他好文 时间:
2016-06-03 19:06:49
阅读次数:
249
Wijmo是为企业应用程序开发而推出的一系列包含HTML5和JavaScript的开发控件,包含Wijmo5、Wijmo3及面向企业级应用的控件金融图表、FlexSheet和OLAP数据透视表。无论您的应用程序是移动端、PC端、还是必须要支持IE6,Wijmo均能满足您的需求。为什么选择Wijmo?触控优先移动友好..
分类:
其他好文 时间:
2016-06-03 15:58:14
阅读次数:
236
OLAP的历史与基本概念
OLAP全称为在线联机分析应用,是一种对于多维数据分析查询的解决方案。典型的OLAP应用场景包括销售、市场、管理等商务报表,预算决算,经济报表等等。
最早的OLAP查询工具是发布于1970年的Express,然而完整的OLAP概念是在1993年由关系数据库之父EdgarF.Codd 提出,伴随而来的是著名的“twelvelaws of online analyt...
分类:
其他好文 时间:
2016-05-27 11:39:25
阅读次数:
164