DW组成部分简介 DW的组成部分有：针对数据源的分析、数据的ETL、数据的存储结构，元数据管理等。 数据源分析 主要是分析要抽取哪些数据，如何抽取（全量还是增量）？它的更新周期是怎么样的？它的数据质量如何？ 确定数据的格式，数据的域。 ETL ETL之前需要知道以下内容，数据源有哪些系统，各个业务系...
分类：
其他好文 时间：
2015-02-19 10:44:53
阅读次数：
154
在报表项目中，客户越来越关注源数据的实时性，希望看到最新发生的数据在报表中体现出来。但是，传统的报表工具+数据仓库+ETL方式很难做到这一点，往往是只能看到昨天、上周甚至是上个月的情况，也就是T+1、T+7、T+30统称T+n报表。很难实现T+0报表，也就是能体现实时信息的报表。
分析其原因在于：1、如果报表的历史数据和最新数据都从客户的生产系统读取，虽然可以实现T+0报表，但...
分类：
其他好文 时间：
2015-02-17 10:23:11
阅读次数：
197
原文:ssis 到别的表查找临时变量值etl过程过，往一个数据库表插入数据，插入的值往往需要到另外一个数据库读取。例如下面的客户跟踪，需要一个“项目ID”，这个ID需要到另一个数据库的一张表查找，找到后返回给“客户跟踪”任务流。 执行SQL任务“原项目ID”的配置如下图： sql语句是： if ex...
分类：
其他好文 时间：
2015-02-16 13:00:41
阅读次数：
128
原文:通过SSIS监控远程服务器Windows服务并发送邮件报警！ 利用SSIS不仅可以做BI项目的ETL，而且还可以做一些系统监控和维护工作，由于之前供应商写的Windows服务是读取ESB的消息进行处理，且通过OA流程与访客系统进行了集成，无论是ESB出现状况，还是Windows服务出现状况，都...
一、Data仓库的架构 Data仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将Data按特定的模式进行存储所建立起来的关系型Datcbase，它的Data基于OLTP源Systam。Data仓库中的Data是细节的、集成的、面向主题的，以OLAPSystam的分析需求....
分类：
其他好文 时间：
2015-02-12 18:15:14
阅读次数：
136
做ETL，肯定少不了经常会从不同的数据库直接进行数据的操作，为了更好的进行跨库操作，SQL SERVER 2012拥有LinkedServer功能。前段时间写了个SQL SERVER同种数据库直接的链接数据库的链接，具体请参考：http://blog.csdn.net/waterxcfg304/article/details/42004753...
分类：
数据库 时间：
2015-01-29 12:49:55
阅读次数：
411
SSIS（SQL Server Integration Service）是在SQL Server2000的DTS的基础上做的一个非常大的改进的新工具。采用了数据流和控制流分离，设计和部署分离的架构设计，引入了更多新的转换，终于向着专业级的ETL工具迈了一大部。 由于相对DTS的改进非常大，开发和使....
分类：
其他好文 时间：
2015-01-28 19:41:42
阅读次数：
158
1 LOG表1.1 思路用log表记录业务库某表yw_tableA发生变化数据的主键。数据进入BI库目标表bi_tableA前，先根据log表记录的主键进行delete。1.2 设计1.2.1 log表结构CREATE TABLE LOG( key_1 VARCHAR(20), --主键1 ...
分类：
其他好文 时间：
2015-01-23 17:55:16
阅读次数：
258
看到的感觉比较实用的文章，留下来做记录。以备以后不时之需，如有不妥，请私信删除。【持续更新中。。。】 SQL Server系统函数： http://www.cnblogs.com/jojomeme/archive/2012/04/05/2433173.html 如何在 ETL 项目中统一管理上百个 ...
分类：
其他好文 时间：
2015-01-20 23:29:02
阅读次数：
148
SDE: Source Dependent Extract
SDE mappings -- extracts the data from the transactional Source System and loads into the data warehouse staging tables.
SDE mappings are designed with respect to the s...
分类：
其他好文 时间：
2015-01-19 15:52:26
阅读次数：
201
