原文:实例学习SSIS(三)--使用包配置导读:
实例学习SSIS(一)--制作一个简单的ETL包
实例学习SSIS(二)--使用迭代
实例学习SSIS(三)--使用包配置
实例学习SSIS(四)--使用日志记录和错误流重定向
实例学习SSIS(五)--理论介绍SSIS 包配置是干嘛滴! 使用包配置...
分类:
其他好文 时间:
2014-11-25 15:46:09
阅读次数:
132
核心公式:DB --> ETL --> DW vs REF file
错误产生原因:
1, DB/DW Connection Issue
2, SQL Issue
3, Product Bug
4, REF file not updated
物理需求分析:
1, Source DB: EBS, PSFT, Fusion…DB Instance
2, DW...
分类:
数据库 时间:
2014-11-25 12:48:20
阅读次数:
283
ETL的考虑做数据仓库系统,ETL是关键的一环。说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具。回忆一下工作这么些年来,处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量,使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中,ETL上升到了...
分类:
其他好文 时间:
2014-11-21 18:20:51
阅读次数:
218
由于目前公司大量的数据存储在HBase中,各个业务线需要对HBase进行即时查询,但是又不方便实现自己的基于HBase Client的API的数据访问实现,他们希望能够像Hive对HDFS中的数据进行ETL一样,可以对HBase中的数据进行SQL操作 我们最初考虑的方式是Hive On HBa...
分类:
其他好文 时间:
2014-11-21 12:27:24
阅读次数:
190
本人使用oracle时间不多,但是在项目中积累了一些经验教训,记录于此,以方便自己和他人解决类似的问题。 1.temp space超出限制的问题 问题场景:
在复杂的ETL query中,有时候一张fact表逻辑复杂,来自多张表的join,我习惯写成CTE的方式, 但CTE是放在内存中的,所以比较快...
分类:
数据库 时间:
2014-11-21 08:02:52
阅读次数:
268
SSIS(SQL Server Integration Service)是从MS SQL 2005开始引入的,是一种ETL(Extract Transform Load)工具,SSIS比普通的ETL更进一步,它是可视化的,用Visual Studio来开发,包文件(*.dtsx)采用的是XML格式。...
分类:
其他好文 时间:
2014-11-20 01:27:49
阅读次数:
283
ref:http://www.gartner.com/technology/reprints.do?id=1-1YAXV15&ct=140728&st=sb
分类:
其他好文 时间:
2014-11-19 10:46:02
阅读次数:
244
原文:总结运行SSIS包的几种方式很多程序员,不止.net程序员都有可能会用到SSIS包来处理一些数据流程上的任务。可以说SSIS作为BI下的一个ETL工具,方便易学,而且功能也确实很强大。于是开发OLTP的同事总会到我们这边寻求技术上的支持,更多的时候会问我,当一个SSIS包开发完成之后,都有哪几...
分类:
其他好文 时间:
2014-11-19 10:28:45
阅读次数:
233
主流ETL产品:Ascential公司的Datastage(Datastage在2005年被IBM收购)、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automation(一套ETL框架、主要关注“抽取”)。ETL工具有:OWB(Oracle Ware...
分类:
其他好文 时间:
2014-11-14 13:53:26
阅读次数:
205
数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享,是企业商务智能、数据仓库系统的重要组成部分。ETL是企业数据集成的概念出发,简要分析了当前ETL中用到的一些基本技术,为ETL系统的开发和ETL技术的应用提供一些参考。1.ETL简介随着企业信息化建设的发...
分类:
其他好文 时间:
2014-11-14 13:53:04
阅读次数:
254