包配置允许您从开发环境的外部设置运行时属性和变量。 配置允许您开发灵活且易于部署和分发的包。Microsoft Integration Services 提供了以下配置类型： XML 配置文件 环境变量 注册表项 父包变量 SQL Server 表 Step 1: 复制第 4 课包 Step 2: ...
分类：
其他好文 时间：
2016-10-10 20:38:01
阅读次数：
162
为了处理在转换过程中可能发生的错误，MicrosoftIntegration Services 允许根据每个组件和每个列来决定如何处理无法转换的数据。 可以选择忽略某些列中的失败、重定向整个失败的行或者只是使组件失败。 默认情况下，Integration Services 中的所有组件被配置为在发生 ...
分类：
其他好文 时间：
2016-10-10 19:21:24
阅读次数：
154
ETL就是Extract、Transfrom、Load即抽取、转换、加载三个英文单词首字母的集合。抽取：就是从源系统抽取需要的数据，这些源系统可以是同构也可以是异构的：比如源系统可能是Excel电子表格、XML文件、关系型数据库，而目标系统通常都是关系型的数据仓库。 转换：源系统的数据按照分析目的， ...
分类：
其他好文 时间：
2016-10-09 14:25:41
阅读次数：
171
原文:《BI项目笔记》增量ETL数据抽取的策略及方法 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到； ...
分类：
其他好文 时间：
2016-10-09 13:35:34
阅读次数：
122
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设 ...
分类：
其他好文 时间：
2016-10-08 20:23:43
阅读次数：
109
摘自： http://blog.itpub.net/28690368/viewspace-766528/ informaica是一个很强大的ETL工具，WORKFLOW MANAGER负责对ETL调度流程进行设计与管理和执行，informatica在资料库中提供以下表来存储调动流程的相关信息，以便W ...
分类：
其他好文 时间：
2016-09-26 20:10:04
阅读次数：
127
一、kettle是什么。 Kettle是一款国外开源的ETL( Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程)工具，纯java编写，可以在Window、Linux、Unix上运行，数 ...
分类：
数据库 时间：
2016-09-20 20:00:44
阅读次数：
662
1.HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允..
分类：
其他好文 时间：
2016-09-18 15:37:05
阅读次数：
289
场景： 遇到1亿数据量的数据需要根据用户名做些数据统计分析，想直接做些聚合计算基本没可能，于是打算先根据日期按照年月创建分区，然后对各个分区分别进行统计，最后汇总结果。 操作方式，新建分区表，然后用ETL工具抽取源并写入新表。 ...
分类：
数据库 时间：
2016-09-17 19:19:18
阅读次数：
195
DB、ETL、DW、OLAP、DM、BI关系结构图 在此大概用口水话简单叙述一下他们几个概念： （1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到 ...
分类：
数据库 时间：
2016-09-12 00:54:39
阅读次数：
252
