多维数据模型是为了满足用户从多角度多层次进行数据查询和分析的需要而建立起来的基于事实和维的数据库模型,其基本的应用是为了实现OLAP(Online Analytical Processing)。 其中,每个维对应于模式中的一个或一组属性,而每个单元存放某种聚集度量值,如count或sum。数据立方体 ...
分类:
其他好文 时间:
2016-10-15 22:05:03
阅读次数:
4488
位图索引 1.1 位图索引概述 位图索引通过位图向量,表示索引键值在表中的分布。 适用于没有大量更新操作的对象,如:OLAP数据库。 对于存在大量更新操作的索引列,不适用位图索引。因此对于OLTP并不适用。 更新位图向量时,相应位图涉及的所有数据行会被锁定,无法针对这些数据行的该索引列进行DML操作 ...
分类:
数据库 时间:
2016-10-03 00:04:11
阅读次数:
248
简介: GreenPlum是一个基于PostgreSQL数据库开发的MPP架构的数据库仓库,适用于OLAP系统,支持50PB(1PB=1000TB)级海量数据的存储和处理。 背景: 目前有一个业务是需要将Oracle数据库中的基础数据增量同步到GreenPlum数据仓库,便于进行数据分析和处理。 规 ...
分类:
数据库 时间:
2016-09-21 13:04:36
阅读次数:
607
Hive架构: Hive基础 Hive基础 1 概念 1 概念 1.1 简介 1.1 简介 1.1.1 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表, 并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。--OLAP 1.1.1 ...
分类:
其他好文 时间:
2016-09-14 12:38:13
阅读次数:
118
DB、ETL、DW、OLAP、DM、BI关系结构图 在此大概用口水话简单叙述一下他们几个概念: (1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到 ...
分类:
数据库 时间:
2016-09-12 00:54:39
阅读次数:
252
OLTP与OLAP的介绍 数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银 ...
分类:
其他好文 时间:
2016-08-31 22:22:39
阅读次数:
195
六、Hue数据可视化实例 本节用Impala、DB查询示例说明Hue的数据查询和可视化功能。1. Impala查询 在Impala OLAP实例一节中执行了一些查询,现在在...
分类:
其他好文 时间:
2016-08-31 17:16:46
阅读次数:
221
SSAS多维模型建好之后,除了在excel客户端直接链接ssas源拖拽pivot分析使用外,还可以讲要展示的结果集通过MDX语句查询出来,嵌入到程序中,通过运行程序跑出完整的报表。如图所示: MDX对于OLAP数据集就像Transact-SQL对于Microsoft SQL Server关系数据库。 ...
分类:
Web程序 时间:
2016-08-31 13:59:52
阅读次数:
230
五、Hue、Zeppelin比较 上一节简单介绍了Hue这种Hadoop生态圈的数据可视化组件,本节讨论另一种类似的产品——Zeppelin。首先介绍一下Zeppelin,然后说明其安装...
分类:
其他好文 时间:
2016-08-31 12:07:48
阅读次数:
196
四、数据可视化与Hue简介1. 数据可视化简介 数据可视化在维基百科上是这样定义的:指一种表示数据或信息的技术,它将数据或信息编码为包含在图形里的可见对象(如点、线、条等),目的是将信息...
分类:
其他好文 时间:
2016-08-29 15:41:00
阅读次数:
235