原文:总结运行SSIS包的几种方式很多程序员，不止.net程序员都有可能会用到SSIS包来处理一些数据流程上的任务。可以说SSIS作为BI下的一个ETL工具，方便易学，而且功能也确实很强大。于是开发OLTP的同事总会到我们这边寻求技术上的支持，更多的时候会问我，当一个SSIS包开发完成之后，都有哪几...
分类：
其他好文 时间：
2014-11-19 10:28:45
阅读次数：
233
通过kettle实现两张表的数据同步，具体设计如下：
分类：
其他好文 时间：
2014-11-17 19:26:03
阅读次数：
278
主流ETL产品：Ascential公司的Datastage（Datastage在2005年被IBM收购）、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automation（一套ETL框架、主要关注“抽取”）。ETL工具有：OWB(Oracle Ware...
分类：
其他好文 时间：
2014-11-14 13:53:26
阅读次数：
205
数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享，是企业商务智能、数据仓库系统的重要组成部分。ETL是企业数据集成的概念出发，简要分析了当前ETL中用到的一些基本技术，为ETL系统的开发和ETL技术的应用提供一些参考。1.ETL简介随着企业信息化建设的发...
分类：
其他好文 时间：
2014-11-14 13:53:04
阅读次数：
254
一个实战的示例，利用kettle组件导入excel文件到数据库，然后通过java代码调用，完整有效，自由掌控。...
分类：
数据库 时间：
2014-11-14 10:47:24
阅读次数：
286
在kettle中实现数据验证和检查 在ETL项目，输入数据通常不能保证一致性。在kettle中有一些步骤能够实现数据验证或检查。验证步骤能够在一些计算的基础上验证行货字段；过滤步骤实现数据过滤；javascript步骤能够实现更复杂的计算。 通常以某种方式查看那些数据是有缺陷的也是实用的，由于大多....
分类：
其他好文 时间：
2014-11-12 19:21:09
阅读次数：
235
我们知道所谓ETL步骤其实就是把数据从源系统加载到数据仓库或数据集市的操作，并在此过程中实现数据的清洗及转换。除了数据的清洗转换之外，一次ETL的过程中另一个十分重要的部分就是：本次抽取能不能直接定位到上次数据处理后变动的数据，即增量抽取(IncrementalLoad)。取决于..
分类：
其他好文 时间：
2014-11-11 14:31:47
阅读次数：
213
对于任何事物而言，监督都是提高自身的有效手段，BI也是如此。从我个人的经验而言，BI的监督可以分为两类(欢迎拍砖讨论)：运行时监督(RuntimeMonitoring)与数据仓库健康状况的监督(DWHealthyMonitoring)：1.运行时监督所谓运行时监督是指监督数据从数据源到流到数据仓库的过程..
分类：
其他好文 时间：
2014-11-07 19:15:14
阅读次数：
320
通过命令行也可以调用，然后java中调用命令行代码也可以；这样没有和java代码逻辑无缝集成。本文说明kettle5.1中如果通过其他API和java代码无缝集成；网上大多数资料都是低版本的，在kettle5.x中已经不能运行。...
分类：
编程语言 时间：
2014-11-07 07:33:27
阅读次数：
239
今天在做SSIS的ETL工作时，其中一个left join组件的运行结果总是会多出一些记录。分析了一下，该问题的原因是右表中作为关联的那一列数据有重复。left join的运行策略可以理解为根据左表的每一条记录的关联字段去对照右表的关联字段，如果右表的关联字段存在重复，就会生成重复的记录。如果左.....
分类：
数据库 时间：
2014-11-06 21:27:06
阅读次数：
230
