作者:萝卜(微信:Robbie_Qi)这几天研究了一家美国的大数据公司1010data,它在产品白皮书中提出了新一代数据仓库的概念(NEXT-GENERATION DATA DISCOVERY),相对于第一代数据仓库,具有如下一些特征:l 用户可以针对任何问题进行分析和查询,也就是说,分析系统要提供...
分类:
其他好文 时间:
2015-04-13 12:30:35
阅读次数:
140
1. 查询语言。由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。
2. 数据存储位置。Hive 是建立在 Hadoop 之上的,所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
3. ...
分类:
数据库 时间:
2015-04-10 18:05:34
阅读次数:
153
在数据仓库领域有一个概念叫conceptual data model,中文一般翻译为“概念数据模型”。概念数据模型设计与逻辑数据模型设计、物理数据模型设计是数据库及数据仓库模型设计的三个主要步骤。概念数据模型是最终用户对数据存储的看法,反映了最终用户综合性的信息需求,它以数据类的方式描述企业级的数据需求,数据类代表了在业务环境中自然聚集成的几个主要类别数据。概念数据模型的内容包括重要的实体及实体之间...
分类:
其他好文 时间:
2015-04-08 18:10:41
阅读次数:
93
在数据仓库领域有一个概念叫logical data model,中文一般翻译为“逻辑数据模型”。逻辑数据模型设计与概念数据模型设计、物理数据模型设计是数据库及数据仓库模型设计的三个主要步骤。逻辑数据模型反映的是系统分析设计人员对数据存储的观点,是对概念数据模型进一步的分解和细化。逻辑数据模型是根据业务规则确定的,关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。逻辑数据模型的内容包括所有的...
分类:
其他好文 时间:
2015-04-08 18:08:48
阅读次数:
106
在数据仓库领域有一个概念叫physical data model,中文一般翻译为“物理数据模型”。物理数据模型设计与概念数据模型设计、逻辑数据模型设计是数据库及数据仓库模型设计的三个主要步骤。物理数据模型是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放。物理数据模型的内容包括确定所有的表和列,定义外键用于确定表之间的关系,基于用户的需求可能进...
分类:
其他好文 时间:
2015-04-08 18:06:19
阅读次数:
120
IOS开发——使用FMDB数据库简介需求作用:如果需要保存大量的结构较为复杂的数据的时候,使用数据库,例如交规考试项目1、数据库的基本介绍数据库(DB)是一种数据模型组织起来并存放存储管理的数据仓库。它是由文件管理发展起来的,如今的数据库基本上都是关系型数据库。数据库的基本操作是增、删、查、改。常见...
分类:
移动开发 时间:
2015-04-04 12:13:18
阅读次数:
183
特点: 优点:独立于oracle,有自己的进程,使用较少的cpu和内存。和DG,Stream相比比较轻。 架构:前端OLTP系统,后端数据仓库,以OGG相连。采用单向,DML复制。 问题:双向复制实际上非常难以维护,总会有数据冲突,DDL是非常好的概念,但是现在还有许多bug。很多truncate无...
分类:
其他好文 时间:
2015-04-01 15:01:23
阅读次数:
145
四步过程维度建模由Kimball提出,可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程,但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。
分类:
其他好文 时间:
2015-03-31 17:31:04
阅读次数:
150