开篇介绍最近经常碰到在 ETL 练习中出现这种转换失败的问题，试了多种方式，同样的代码同样的源结构和表结构但是一直不能成功执行，包报错。一般有这么几种错误：Error at DST_LOAD_DATA_FROM_FILE [OLE_DST_EMPLOYEE[109]]: The column "Fi...
分类：
其他好文 时间：
2015-01-18 18:29:11
阅读次数：
448
传统的关系数据库一般采用二维数表的形式来表示数据，一个维是行，另一个维是列，行和列的交叉处就是数据元素。关系数据的基础是关系数据库模型，通过标准的SQL语言来加以实现。 数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方...
分类：
其他好文 时间：
2015-01-17 15:12:02
阅读次数：
201
创建数据仓库的过程中，往往会遇到这样的问题，例如：源表由于业务原因新增了字段，而ETL程序中是按照之前的源表结构进行抽取的，那么如果不重新构建ETL程序，新的指标就不会流入DW，问题如下图所示创建了一个简单的输入输出如下图所示，源表中有一个column3字段没有被匹配到下面我们可以打开sql编辑器，...
分类：
其他好文 时间：
2015-01-13 10:19:26
阅读次数：
372
SSIS（SQL Server Integration Service）是Microsoft 从SQL Server2005 以后发布的，现在一直跟随每个SQL server版本。它是Microsoft BI 解决方案的一大利器，我们一般认为SSIS就是ETL（Extract Transform L...
分类：
数据库 时间：
2015-01-12 18:46:54
阅读次数：
192
Informatica&DAC简介和常见问题解决
安装Informatica
安装Informatica之前需要新建用户，详见下面
INFORMATICA四个表空间：
1.INFORMATICA：主要用来存储informatica的源表目标表和映射以及mapplet
2.DAC：主要存放DAC的配置信息以及tasks,subject aear等...
分类：
其他好文 时间：
2015-01-10 23:43:44
阅读次数：
748
sqlserver的排序规则大概分为Windows 排序规则和 SQL Server 排序规则。数据在安装的时候，默认不设置会默认为SQL_Latin1_General_CP1_CI_AI。数据库在创建的时候，如果不设定会使用数据默认的排序规则，此外，还可以对表中的列设定排序规则。这里只是记录一下最...
分类：
数据库 时间：
2015-01-10 19:40:49
阅读次数：
282
说明：以下是自己的理解答案，不是标准的答案，如有不妥烦请指出。 有些题目暂时没有答案，有知道的请留言，互相学习，一起进步。 62、描述一下 Execute SQL Task 的作用，在 ETL 开发过程中哪些情况下会使用到 Execute SQL Task？ 执行SQL语句，获取单个数据，获取数据集...
分类：
其他好文 时间：
2015-01-10 19:39:09
阅读次数：
252
问题：
去年用Pig进行了一系列报表和ETL的开发，感觉Pig很不错，没有Hive的娇贵，又比粗糙的MapReduce来的精巧，很称手。新年正好涉及以前的程序调整，借此之机，对Pig写的脚本进行了优化。毕竟，越用越熟，越能发现Pig的魅力。
在整理以前的Pig程序里，发现了一个问题，就是pig没有提取数据集大小的功能，所以每次要取数据集条数的工作，总会遗留下如下代码：
curr...
分类：
系统相关 时间：
2015-01-09 17:24:48
阅读次数：
203
原创作品，出自 “深蓝的blog” 博客，欢迎转载，转载时请务必注明以下出处，否则追究版权法律责任。
深蓝的blog：
kettle内存溢出错误解决
环境：
源端数据库：oracle 10G R2
目标端数据库：oracle 11G R2
kettle版本：5.0.1-stable
报错：
抽取大数据量表时，报错，日志信息如下：
2015/01/05 11:27:42 -...
分类：
其他好文 时间：
2015-01-06 09:59:13
阅读次数：
252
在我们运维工作中，经常要对备份，ETL等作业进行监控，这时我们需要用到SQL SERVER自带的邮件服务器，其原理，我在这么里不多说，直接来实战，下面是我对服务器配置源码，分享给大家，希望对大家有帮助。exec sp_configure 'show advanced options',1RECONF...
分类：
数据库 时间：
2014-12-26 18:17:29
阅读次数：
282
