OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银 ...
分类：
其他好文 时间：
2016-12-04 07:46:36
阅读次数：
202
Greenplum 数据库是最先进的分布式开源数据库技术，主要用来处理大规模的数据分析任务，包括数据仓库、商务智能（OLAP）和数据挖掘等。自2015年10月正式开源以来，受到国内外业内人士的广泛关注。本文就社区关心的Greenplum数据库技术架构进行介绍。 一. Greenplum数据库简介 大 ...
分类：
数据库 时间：
2016-11-09 19:58:19
阅读次数：
236
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line t ...
分类：
其他好文 时间：
2016-10-30 00:52:50
阅读次数：
161
如何分层 结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变... ...
分类：
其他好文 时间：
2016-10-29 12:16:00
阅读次数：
248
说一下，目前我们基础数据平台的机构。 OLTP： OLTP 主要使用ORACLE 平台，集群环境使用的是RAC。在前端做数据采集的还有SQLSERVER，但是目前初步不会从其中取数据。 中间件：主要使用的是 ORACLE FUSION ,也就是 WEBLOGIC， 在这个层次，主要考虑的是 平台的E ...
分类：
其他好文 时间：
2016-10-28 03:10:18
阅读次数：
237
刚开始起步阶段，很多人都认为是DW选型，ETL工具选型或者构架等问题，这些其实都是 技巧上的问题，真正从项目上，业务上的观点来看，有点狭隘。 一个网友的观点给我启发很多，就是使用5W1H的工程方法，先把事情想明白。 5W : WHO ,WHAT,WHY,WHEN,WHERE WHO:（谁来对源数据负 ...
分类：
其他好文 时间：
2016-10-28 02:59:30
阅读次数：
135
其实，同其他后台项目一样的问题，就是最后是个交钥匙工程，一个BAT，或者SHELL 到最后什么都完成，日志，结构，数据都明确，不需要额外的配置，最后需要达到这个目的。 这个主要分为三个部分 1.ORACLE 数据 模型建立 >1. 入口脚本 INSTALL_ODS.BAT ，其中需要调用一下的组件。 ...
分类：
其他好文 时间：
2016-10-28 02:41:29
阅读次数：
134
如果不是OLAP 系统或者BI系统，我们在生产环境下常遇到这样的问题 需要同步两个表。比如交通驾驶人，每个月需要同步。 表O_DRIVER_SOURCE 是来自第三方的源表，O_DRIVER_TARGET是本系统需要使用的目标表。现在需要同步这两个表很容易想到的 解决方案是 1.使用存储过程，有点复 ...
分类：
其他好文 时间：
2016-10-28 02:32:33
阅读次数：
137
ODS-BI 建设中ETL要占用1/3 的时间，深有感触。BI的建模，从物理数据层，逻辑数据层，业务逻辑层各个层次，都有很多自动化的工具可以处理。 但是ETL 中的流程确要根据性能来设计的。总结下这几个部分。 1.数据源/数据目标管理 确定数据源的表，文件，或者RESTFUL的URL，ODBC，值得 ...
分类：
其他好文 时间：
2016-10-28 02:28:42
阅读次数：
144
这个项目在年前已经完成，回顾起来小问题挺多。有点乱。还是从需求说起。 一.单纯讲需求每个行业的都不同。很难划一而论。总体来说也就是这几个方面 1.时间窗 常见的分类也就1类ODS ,II类ODS ，III类ODS I类ODS：与应用系统的数据延迟为1~2秒，实时或近似实时 II 类ODS：与应用系统 ...
分类：
其他好文 时间：
2016-10-28 02:18:22
阅读次数：
111
