五、快照 前面实验说明了处理维度的扩展。本节讨论两种事实表的扩展技术。 有些用户,尤其是管理者,经常要看某个特定时间点的数据。也就是说,他们需要数据的快照。周期快照和累积快照是两种常用的事实表扩展技术。 周期快照是在一个给定的时间对事实表进行一段时期的总计。例如,一个月销售订单周期快照汇总每个月底时总的销售订单金额。 累积快照用于跟踪事实表的...
分类:
其他好文 时间:
2016-07-22 19:18:25
阅读次数:
160
四、角色扮演维度 当一个事实表多次引用一个维度表时会用到角色扮演维度。例如,一个销售订单有一个是订单日期,还有一个交货日期,这时就需要引用日期维度表两次。 本节将说明两类角色扮演维度的实现,分别是表别名和数据库视图。这两种都使用了Hive的功能。表别名是在SQL语句里引用维度表多次,每次引用都赋予维度表一个别名。而数据库视图,则是按照事实表需要引用维度表的次数,建立相同...
分类:
其他好文 时间:
2016-07-19 10:04:32
阅读次数:
180
一、增加列 数据仓库最常碰到的扩展是给一个已经存在的维度表和事实表添加列。本节说明如何在客户维度表和销售订单事实表上添加列,并在新列上应用SCD2,以及对定时装载脚本所做的修改。假设需要在客户维度中增加送货地址属性,并在销售订单事实表中增加数量度量值。 先看一下增加列时模式发生的变化。 修改后源数据库模式如下图所示。 修改后DW数据库模式如...
分类:
其他好文 时间:
2016-07-14 15:44:46
阅读次数:
231
http://blog.csdn.net/freefishly/article/details/51759133 为什么要整合? Kylin是通过离线预计算将Hive中事实表的各组合维度的值存储在Hbase中,在前端可实时展现。但是kylin的多维查询需要写SQL,对于不会写SQL的数据分析人员或者 ...
分类:
其他好文 时间:
2016-07-01 09:02:00
阅读次数:
215
三、建立数据仓库示例模型
Hadoop及其相关服务安装配置好后,下面用一个小而完整的示例说明多维模型及其相关ETL技术在Hadoop上的具体实现。
1. 设计ERD
操作型系统是一个销售订单系统,初始时只有产品、客户、订单三个表,ERD如下图所示。
多维数据仓库包含有一个销售订单事实表,产品、客户、订单、日期四个维度表,ERD如下...
分类:
其他好文 时间:
2016-06-29 19:11:04
阅读次数:
432
阅读官网,学到哪就写到哪 1、需要先建立Model 2、kylin需要配置事实表,纬度表;可以自定义join。 我的用法和官方建议的不同,我是直接在hive中将所有的取join成一个单表,再根据单表进行cude kylin。 因为我的join的同时有一些业务上的处理。 3、需要选择cude的纬度字段 ...
分类:
其他好文 时间:
2016-05-27 16:30:31
阅读次数:
214
ETL系统的主要任务是在提交阶段传递维度表和事实表。 交付子系统是ETL架构中的中枢子系统。维度表是数据仓库的心脏,它们为事实表提供了上下文。 维度表是进入事实表的入口。 子系统9——缓慢变化维管理器 ETL中最重要的要素之一是实现缓慢变化维度(SCD)逻辑。 数据仓库得知某一维度中一个已有的行发生... ...
分类:
其他好文 时间:
2016-04-21 20:32:25
阅读次数:
169
Question: 初步理解多维数据库和关系型数据库都是表存储,只不过是在多维数据集里叫做事实表、维表,做分析的话关系型数据库也可以做到的呀?(书上说多维数据库的查询速度更快一点,可是为什么会更快呢?)多维数据库和关系型数据库单单是查询速度上更优吗?还有会出于什么考虑来建多维数据库呢? Answer ...
分类:
数据库 时间:
2016-04-14 22:07:04
阅读次数:
439
经常看到有人对qlikview的model的疑问或者一些组合键或者成环的一些问题,所以下面就探讨一下qlikview建模。 业务背景:有3张事实表分别为采购表、库存表、销售表,4张维度表分别为日期、产品、供应商、客户,我们现在需要搭建模型。 初始模型:直接将所有的数据表load至qlikview,字 ...
分类:
其他好文 时间:
2016-04-06 23:25:19
阅读次数:
213
表格设计模型中,同多维设计模型相似, 维表和事实表相互独立,通过关系数据库中的外键来联系,互相关联构成一个统一的架构。 DB中外键是需要唯一性约束的,即A表某列建立主键或者唯一键后,B表才可以引用为外键。 多维设计模型--星型结构 星形架构(star schema)是以事实表为核心,其他的维表围绕这
分类:
其他好文 时间:
2016-02-19 12:03:47
阅读次数:
333