Kettle Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。 Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 Kettle是一款国外开源的ETL工具,纯java ...
分类:
其他好文 时间:
2016-07-01 13:26:43
阅读次数:
168
http://www.oschina.net/project/tag/453/etl 开源ETL工具 Kettle Talend KETL CloverETL Apatar Scriptella ETL Octopus ETL调度技术平台 TASKCTL ETL工具 Talend Open Stud ...
分类:
其他好文 时间:
2016-07-01 06:43:06
阅读次数:
474
转载: http://blog.itpub.net/post/37422/464323 该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。 需要设置的参数: 旧数据来源:旧数据来源的步骤 新数据来源。新数据来源的步骤 标 ...
分类:
其他好文 时间:
2016-06-23 08:52:28
阅读次数:
469
Kettle开源ETL工具有着自己的元数据存储方式,可以分为两种 1:File 2:DB 文件存储我这里就不多说了,下面说一下在用SQLserver2008 R2作为资源库在创建的过程中遇到的问题 Kettle Version :6.0.1 Sqlserver Version:2008R2 重点来了 ...
分类:
数据库 时间:
2016-06-20 22:17:41
阅读次数:
350
参考资料:http://www.cnblogs.com/wxjnew/p/3620792.html 注意:使用bat文件执行速度比执行在spoon.bat中执行慢很多一、使用Pan.bat执行转换Pan.bat文件路径:\pdi-ce-6.1.0.1-196\data-integration需求:执... ...
分类:
其他好文 时间:
2016-06-11 11:59:40
阅读次数:
3914
一个复杂的kettle作业一般包括很多子作业和转换,在主作业Start后通常会添加一个【设置变量】的流程,该流程的功能是为所有流程的公共变量设置通用值。 主作业添加的【设置变量】针对的是所有流程,如果需要运行某个在作业,就需要将其引用的变量值改为常量才能运行,想当年麻烦,本文介绍两种方法规避该问题方... ...
分类:
其他好文 时间:
2016-06-11 10:34:18
阅读次数:
189
最近在公司搞一个项目重构迁移问题,旧项目一直在线上跑,重构的项目则还没上线。重构之后数据库表结构,字段,类型等都有变化,而且重构的数据库由oracl改为mysql。这样就设计到数据迁移问题,别人推荐下用了kettle。由于资料比较少,刚开始搞了半天没成功过一次。现在终于有点开窍了,记录下以备后用,同 ...
分类:
其他好文 时间:
2016-06-05 13:49:12
阅读次数:
166
kettle 3.2 以前的版本里只有 variable 和 argument,kettle 3.2 中,又引入了 parameter 概念;variable 即environment variables(环境变量或全局变量),即使是不同的转换它们也拥有同样的值;而argument(位置参数)和pa ...
分类:
其他好文 时间:
2016-06-04 19:22:41
阅读次数:
195
资源库的作用:资源库是用来保存操作步骤和相关的日志,转换,JOB 等信息。用户通过图形界面创建的的转换任务可以保存在资源库中。资源库可以是各种常见的数据库,用户通过用户名/ 密码来访问资源库中的资源,默认的用户名/ 密码是admin/admin. 资源库并不是必须的,如果没有资源库,用户还可以把转换 ...
分类:
其他好文 时间:
2016-06-03 17:26:33
阅读次数:
361
kettle部署需要有jdk环境,所以需要配置环境变量。 1、首先配置jdk,将jdk压缩包解压到c盘下 增加系统变量:JAVA_HOME:c:\jdk 在path后追加: %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; 增加CLASSPATH变量:%JAVA_HOME%\ ...
分类:
Windows程序 时间:
2016-06-02 21:53:06
阅读次数:
1192