简介： GreenPlum是一个基于PostgreSQL数据库开发的MPP架构的数据库仓库，适用于OLAP系统，支持50PB(1PB=1000TB)级海量数据的存储和处理。 背景： 目前有一个业务是需要将Oracle数据库中的基础数据增量同步到GreenPlum数据仓库，便于进行数据分析和处理。 规 ...
分类：
数据库 时间：
2016-09-21 13:04:36
阅读次数：
607
Hive架构： Hive基础 Hive基础 1 概念 1 概念 1.1 简介 1.1 简介 1.1.1 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。--OLAP 1.1.1 ...
分类：
其他好文 时间：
2016-09-14 12:38:13
阅读次数：
118
oltp是针对数据库的基准测试，例如每次对数据库进行优化后执行基准测试来测试不同的配置的tps。可以通过以下命令了解它的有关参数需要传递一个标识用户账号的参数，这样才能查询到某一个用户的数据信息。 根据用户账号信息查询数据的最新版本号,返回到客户端，客户端根据服务器端的版本号和本地进行比较，如果一致... ...
分类：
编程语言 时间：
2016-09-12 22:14:14
阅读次数：
231
DB、ETL、DW、OLAP、DM、BI关系结构图 在此大概用口水话简单叙述一下他们几个概念： （1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到 ...
分类：
数据库 时间：
2016-09-12 00:54:39
阅读次数：
252
数据仓库构建步骤 数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。 数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到用户的明确而详细的需求，用户所能提供的无非是需求的大的方向 ...
分类：
其他好文 时间：
2016-09-10 10:09:11
阅读次数：
191
OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银 ...
分类：
其他好文 时间：
2016-08-31 22:22:39
阅读次数：
195
六、Hue数据可视化实例 本节用Impala、DB查询示例说明Hue的数据查询和可视化功能。1. Impala查询 在Impala OLAP实例一节中执行了一些查询，现在在...
分类：
其他好文 时间：
2016-08-31 17:16:46
阅读次数：
221
SSAS多维模型建好之后，除了在excel客户端直接链接ssas源拖拽pivot分析使用外，还可以讲要展示的结果集通过MDX语句查询出来，嵌入到程序中，通过运行程序跑出完整的报表。如图所示： MDX对于OLAP数据集就像Transact-SQL对于Microsoft SQL Server关系数据库。 ...
分类：
Web程序 时间：
2016-08-31 13:59:52
阅读次数：
230
五、Hue、Zeppelin比较 上一节简单介绍了Hue这种Hadoop生态圈的数据可视化组件，本节讨论另一种类似的产品——Zeppelin。首先介绍一下Zeppelin，然后说明其安装...
分类：
其他好文 时间：
2016-08-31 12:07:48
阅读次数：
196
四、数据可视化与Hue简介1. 数据可视化简介 数据可视化在维基百科上是这样定义的：指一种表示数据或信息的技术，它将数据或信息编码为包含在图形里的可见对象（如点、线、条等），目的是将信息...
分类：
其他好文 时间：
2016-08-29 15:41:00
阅读次数：
235
