1 缓存层2 存储格式2.1 行式存储2.2 列式存储3 索引3.1 B+树3.2 哈希3.3 T树
分类:
其他好文 时间:
2015-05-10 20:28:31
阅读次数:
107
Spark SQL 1.2背景:了解到HDP也能够支持Spark SQL,但官方文档是版本1.2,希望支持传统数据库、hadoop平台、文本格式的整合处理 虚线表示还未实现。支持从现有Apache Hive表以及流行的Parquet列式存储格式中读取数据,数据源API通过Spark SQL提供了访....
分类:
数据库 时间:
2015-05-08 22:00:16
阅读次数:
323
关系型数据库系统以二维表的形式呈现数据,比如下面的员工表RowIdEmpIdLastnameFirstnameSalary00110SmithJoe4000000212JonesMary5000000311JohnsonCathy4400000422JonesBob55000上面的格式仅仅存在于理论...
分类:
数据库 时间:
2015-04-20 14:47:55
阅读次数:
126
前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇主要讲述面向时间序列/面检索的应用场景时, 如何利用HBase的特性去处理和优化.构造应用场景 某气象局对各个站点的信息.....
分类:
其他好文 时间:
2015-03-28 21:38:26
阅读次数:
191
1、数据库安装安装#查看默认路径rpm-qplinfobright-4.5.0-4-x86_64-eval.rpmrpm-ivh--relocate/usr/local=/data/server/infobright-4.5.0-4-x86_64-eval.rpm设置权限GRANTALLPRIVILEGESON*.*TO‘root‘@‘192.168.%‘IDENTIFIEDBY‘password‘WITHGRANTOPTION;flushprivileges;编辑配..
分类:
其他好文 时间:
2015-03-12 15:27:59
阅读次数:
190
首先简单介绍一下Dremel是什么,能解决什么问题。第二部分着重讲Dremel的数据模型,即数据结构。第三部分将谈一下在此数据结构上设计的算法。1 起源Dremel的数据模型起源于分布式系统的应用环境(Protocol Buffers,一种在Google内广泛使用,现已开源的实现)。其数据模型是基于强类型的嵌套记录,抽象语法可以表示成下面公式:一个例子:2 嵌套列式存储2.1 记录结构的无损表示首...
分类:
其他好文 时间:
2014-11-30 23:27:45
阅读次数:
1374
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好,直接抄原...
分类:
其他好文 时间:
2014-11-15 10:05:57
阅读次数:
168
转自:列式数据库的简单分析这些天看数据仓库的内容,发现一个新内容——列式存储。曾经有想过把数据库行列转置作成索引,不过没有深想,没想到列式数据库已经开始发展起来了。首先看下WIKI上对列式数据库的解释:列式数据库是以列相关存储架构进行数据存储的数据库,主要适合与批量数据处理和即席查询。相对应的是行式...
分类:
数据库 时间:
2014-09-23 12:11:04
阅读次数:
302
前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇主要讲述面向时间序列/面检索的应用场景时, 如何利用HBase的特性去处理和优化. 构造应用场景 某气象局对各个站点...
分类:
其他好文 时间:
2014-07-26 16:49:51
阅读次数:
381
前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇博文重点讲解HBase的数据导入, 描述三种方式, Client API, Bulkload, 以及Hive Over .....
分类:
其他好文 时间:
2014-07-14 15:51:39
阅读次数:
288