说一下，目前我们基础数据平台的机构。 OLTP： OLTP 主要使用ORACLE 平台，集群环境使用的是RAC。在前端做数据采集的还有SQLSERVER，但是目前初步不会从其中取数据。 中间件：主要使用的是 ORACLE FUSION ,也就是 WEBLOGIC， 在这个层次，主要考虑的是 平台的E ...
分类：
其他好文 时间：
2016-10-28 03:10:18
阅读次数：
237
刚开始起步阶段，很多人都认为是DW选型，ETL工具选型或者构架等问题，这些其实都是 技巧上的问题，真正从项目上，业务上的观点来看，有点狭隘。 一个网友的观点给我启发很多，就是使用5W1H的工程方法，先把事情想明白。 5W : WHO ,WHAT,WHY,WHEN,WHERE WHO:（谁来对源数据负 ...
分类：
其他好文 时间：
2016-10-28 02:59:30
阅读次数：
135
其实，同其他后台项目一样的问题，就是最后是个交钥匙工程，一个BAT，或者SHELL 到最后什么都完成，日志，结构，数据都明确，不需要额外的配置，最后需要达到这个目的。 这个主要分为三个部分 1.ORACLE 数据 模型建立 >1. 入口脚本 INSTALL_ODS.BAT ，其中需要调用一下的组件。 ...
分类：
其他好文 时间：
2016-10-28 02:41:29
阅读次数：
134
如果不是OLAP 系统或者BI系统，我们在生产环境下常遇到这样的问题 需要同步两个表。比如交通驾驶人，每个月需要同步。 表O_DRIVER_SOURCE 是来自第三方的源表，O_DRIVER_TARGET是本系统需要使用的目标表。现在需要同步这两个表很容易想到的 解决方案是 1.使用存储过程，有点复 ...
分类：
其他好文 时间：
2016-10-28 02:32:33
阅读次数：
137
ODS-BI 建设中ETL要占用1/3 的时间，深有感触。BI的建模，从物理数据层，逻辑数据层，业务逻辑层各个层次，都有很多自动化的工具可以处理。 但是ETL 中的流程确要根据性能来设计的。总结下这几个部分。 1.数据源/数据目标管理 确定数据源的表，文件，或者RESTFUL的URL，ODBC，值得 ...
分类：
其他好文 时间：
2016-10-28 02:28:42
阅读次数：
144
这个项目在年前已经完成，回顾起来小问题挺多。有点乱。还是从需求说起。 一.单纯讲需求每个行业的都不同。很难划一而论。总体来说也就是这几个方面 1.时间窗 常见的分类也就1类ODS ,II类ODS ，III类ODS I类ODS：与应用系统的数据延迟为1~2秒，实时或近似实时 II 类ODS：与应用系统 ...
分类：
其他好文 时间：
2016-10-28 02:18:22
阅读次数：
111
本文 所涉及的项目，是在测试机上完成，其根据真实项目按照硬件能力进行了缩放。 有一航空分析系统，其用户量在20左右，其性质介于OLTP和 DatawareHouse之间，采用普通服务器，Linux平台，物理内存为4G，5块磁盘。 初步的内存的规划为 Oracle 系统占用: 4G*80% =3.2G ...
分类：
数据库 时间：
2016-10-28 02:14:39
阅读次数：
163
1、SQL Server 2000 Enterprise Edition(企业版) 该版本具有强大的可伸缩性和可靠性，可作为大型WEB站点、企业联机事务处理(OLTP)以及数据仓库系统等数据库产品的服务器。支持SQL Server 2000中所有的可用功能，同时支持32个CPU和64GB的内存，是S ...
分类：
数据库 时间：
2016-10-23 14:40:58
阅读次数：
208
多维数据模型是为了满足用户从多角度多层次进行数据查询和分析的需要而建立起来的基于事实和维的数据库模型，其基本的应用是为了实现OLAP（Online Analytical Processing）。 其中，每个维对应于模式中的一个或一组属性，而每个单元存放某种聚集度量值，如count或sum。数据立方体 ...
分类：
其他好文 时间：
2016-10-15 22:05:03
阅读次数：
4488
位图索引 1.1 位图索引概述 位图索引通过位图向量，表示索引键值在表中的分布。 适用于没有大量更新操作的对象，如：OLAP数据库。 对于存在大量更新操作的索引列，不适用位图索引。因此对于OLTP并不适用。 更新位图向量时，相应位图涉及的所有数据行会被锁定，无法针对这些数据行的该索引列进行DML操作 ...
分类：
数据库 时间：
2016-10-03 00:04:11
阅读次数：
248
