很多程序员,不止.net程序员都有可能会用到SSIS包来处理一些数据流程上的任务。可以说SSIS作为BI下的一个ETL工具,方便易学,而且功能也确实很强大。于是开发OLTP的同事总会到我们这边寻求技术上的支持,更多的时候会问我,当一个SSIS包开发完成之后,都有哪几种方式可以让它运行起来。一直以来我 ...
分类:
其他好文 时间:
2016-11-17 00:26:11
阅读次数:
259
首先要明白,在MySQL数据库忠中的存储引擎是基于表的,而不是基于数据库的。讲述两者区别:InnoDB存储引擎,主要面向OLTP(OnlineTransactionProcessing,在线事务处理)方面的应用,是第一个完整支持ACID事务的存储引擎(BDB第一个支持事务的存储引擎,已经停止开发)。特点:行锁..
分类:
数据库 时间:
2016-11-16 03:25:10
阅读次数:
171
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line t ...
分类:
其他好文 时间:
2016-10-30 00:52:50
阅读次数:
161
如何分层 结合Inmon和Kimball的集线器式和总线式的数据仓库的优点,分层为ODS-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中,数据经过了一定的清洗,比如字段的统一,脏数据的去除等,但是数据的粒度是不会变... ...
分类:
其他好文 时间:
2016-10-29 12:16:00
阅读次数:
248
说一下,目前我们基础数据平台的机构。 OLTP: OLTP 主要使用ORACLE 平台,集群环境使用的是RAC。在前端做数据采集的还有SQLSERVER,但是目前初步不会从其中取数据。 中间件:主要使用的是 ORACLE FUSION ,也就是 WEBLOGIC, 在这个层次,主要考虑的是 平台的E ...
分类:
其他好文 时间:
2016-10-28 03:10:18
阅读次数:
237
本文 所涉及的项目,是在测试机上完成,其根据真实项目按照硬件能力进行了缩放。 有一航空分析系统,其用户量在20左右,其性质介于OLTP和 DatawareHouse之间,采用普通服务器,Linux平台,物理内存为4G,5块磁盘。 初步的内存的规划为 Oracle 系统占用: 4G*80% =3.2G ...
分类:
数据库 时间:
2016-10-28 02:14:39
阅读次数:
163
1、SQL Server 2000 Enterprise Edition(企业版) 该版本具有强大的可伸缩性和可靠性,可作为大型WEB站点、企业联机事务处理(OLTP)以及数据仓库系统等数据库产品的服务器。支持SQL Server 2000中所有的可用功能,同时支持32个CPU和64GB的内存,是S ...
分类:
数据库 时间:
2016-10-23 14:40:58
阅读次数:
208
位图索引 1.1 位图索引概述 位图索引通过位图向量,表示索引键值在表中的分布。 适用于没有大量更新操作的对象,如:OLAP数据库。 对于存在大量更新操作的索引列,不适用位图索引。因此对于OLTP并不适用。 更新位图向量时,相应位图涉及的所有数据行会被锁定,无法针对这些数据行的该索引列进行DML操作 ...
分类:
数据库 时间:
2016-10-03 00:04:11
阅读次数:
248
oltp是针对数据库的基准测试,例如每次对数据库进行优化后执行基准测试来测试不同的配置的tps。可以通过以下命令了解它的有关参数需要传递一个标识用户账号的参数,这样才能查询到某一个用户的数据信息。 根据用户账号信息查询数据的最新版本号,返回到客户端,客户端根据服务器端的版本号和本地进行比较,如果一致... ...
分类:
编程语言 时间:
2016-09-12 22:14:14
阅读次数:
231
DB、ETL、DW、OLAP、DM、BI关系结构图 在此大概用口水话简单叙述一下他们几个概念: (1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到 ...
分类:
数据库 时间:
2016-09-12 00:54:39
阅读次数:
252