1.什么是ETL？ ETL，Extraction-Transformation-Loading的缩写，中文名为数据抽取、转换和加载。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础 ...
分类：
其他好文 时间：
2016-09-11 01:35:49
阅读次数：
452
1、ETL的定义 ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也就是“抽取”、“转换”、“装载”，但我们日常往往简称其为数据抽取。 ETL是BI/DW（商务智能/数据仓库）的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数 ...
分类：
其他好文 时间：
2016-09-10 16:20:34
阅读次数：
181
在这里分析下最近分析和解决ODI性能问题的点滴，用作参考。在介入该问题前，已经具备的基础知识包括了ODI基础，SOA理论和实施，特别是04年封闭四天的informatic ETL培训和实操。几年的开发经验和技术积累。 首先我们拿到的问题是ODI性能慢，要知道ODI本身核心还是是ETL，只是ODI已经 ...
分类：
其他好文 时间：
2016-09-10 14:28:55
阅读次数：
178
ETL构建企业级数据仓库五步法 在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗，整合，到转换，加载等的各个过程，如果说数据仓库是一座大 厦，那 么ETL就是大厦的根基，ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作 ...
分类：
其他好文 时间：
2016-09-10 10:13:11
阅读次数：
173
本文简述使用OWB创建数据仓库的一般过程。Oracle的OWB是目前最好的三大ETL产品之一。OWB不但可以可以完成数据的抽取、转换和加 载，还能帮助用户在Oracle数据库中创建ROLAP（Relational Online Analysis Process）和MOLAP（Multidimensi ...
分类：
数据库 时间：
2016-09-10 10:08:52
阅读次数：
264
1需求描述 使用Linux中的CRONTAB调度kettle 2 数据库环境 3 整体示意图 3.1 ETL.kjb 3.2 Tran.ktr 3.3 调度示意图 使用Linux调度kjb,使用kjb调度ktr 4 参数设置 首先在ETL.kjb中定义参数 右键 作业设置 接着看到如下界面：设置作业 ...
分类：
其他好文 时间：
2016-09-09 20:21:20
阅读次数：
233
本文要点：Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。 Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上 ...
分类：
其他好文 时间：
2016-09-08 16:00:36
阅读次数：
177
抽取(Extract)： 一般抽取过程需要连接到不同的数据源，以便为随后的步骤提供数据。这一部分看上去简单而琐碎，实际上它是 ETL 解决方案的成功实施的一个主要障碍。 转换(Transform)： 任何对数据的处理过程都是转换。这些处理过程通常包括（但不限于）下面一些操作：移动数据根据规则验证数据 ...
分类：
其他好文 时间：
2016-09-04 12:52:12
阅读次数：
202
一、ETL操作 抽取数据 日志格式： 分割符号：^A IP地址 服务器时间 二、Java工程 1. 创建项目 copy代码及配置文件 2. 改配置 core-site.xml hbase-site.xml 3. 代码描述 common包：常量(字段常量) dimension包：自定义key valu ...
分类：
其他好文 时间：
2016-09-04 11:28:20
阅读次数：
128
OrientDB 官网 http://orientdb.com/orientdb/ 准备工作， 1、下载Pentaho Data Integration (Kettle) version 6.0 , 2、JDK 8.0 , 3、OrientDB v2.2 4、JDBC Drivers for Ori ...
分类：
数据库 时间：
2016-09-03 13:38:45
阅读次数：
304
