1、Kettle 的几个子程序的功能和启动方式—-windows环境
Spoon.bat: 图形界面方式启动作业和转换设计器。(最常用)
Pan.bat: 命令行方式执行转换。
Kitchen.bat: 命令行方式执行作业。
Carte.bat: 启动web服务,用于 Kettle 的远程运行或
集群运行。
Encr.bat: 密码加密—-Linux环境
Spoon.sh: 图形界面方...
分类:
其他好文 时间:
2015-03-29 09:28:28
阅读次数:
139
最近在公司搞一个项目重构迁移问题,旧项目一直在线上跑,重构的项目则还没上线。重构之后数据库表结构,字段,类型等都有变化,而且重构的数据库由oracl改为mysql。这样就设计到数据迁移问题,别人推荐下用了kettle。由于资料比较少,刚开始搞了半天没成功过一次。现在终于有点开窍了,记录下以备后用.....
分类:
其他好文 时间:
2015-03-13 18:03:57
阅读次数:
136
依然在北京,早上停电了,整个人感觉对不好了,接下来就说一下在使用ETL工具kettle做数据校验的时候遇到的一些问题,一级解决方案.1:数据校验效果图下图:原始表数据(需要校验的表数据)对上表数据进行校验,校验规则,order_nane、order_type不为空,order_money2>orde...
分类:
其他好文 时间:
2015-03-11 12:46:21
阅读次数:
202
最近参与了一个信托行业的BI项目,由于信托业务系统设计的问题,很多都是用户手工录入的数据,也有一些是需要分析的但是用户没有录入的数据,针对这样的数据质量,我们就要在ETL抽取的过程中来对数据流进行校验,今天我们就说一下如何利用ETL开源工具kettle来完成对数据的基础性校验1:非空校验if(INT...
分类:
Web程序 时间:
2015-03-07 15:29:02
阅读次数:
229
Kettle是Pentaho的一个组件,主要用于数据库间的数据迁移,到我用过的4.2版,还不支持noSQL,不知道4.4是不是支持了。
Kettle自己有三个主要组件:Spoon,Kitchen,Pan。其中Spoon是一个图形化的界面,用于windows的时候,先设置环境变量:pentaho_java_home,例如:C:\Program Files\Java\jdk1.7.0_25...
分类:
其他好文 时间:
2015-03-03 15:09:42
阅读次数:
108
kettle登录加载job 报错 Can't find Job 1...
分类:
其他好文 时间:
2015-02-28 18:45:29
阅读次数:
113
sqlnet.ora 添加NAMES.DIRECTORY_PATH= (TNSNAMES, EZCONNECT)SQLNET.ALLOWED_LOGON_VERSION=8
分类:
数据库 时间:
2015-02-27 11:40:30
阅读次数:
125
Kettle汇总时手动执行小时汇总命令:./kitchen.sh -norep -file /usr/local/evqm/kettle/kettle_scripts/rpt_hour.kjb -param:start_time='2015-2-3 10:00:00' -param:end_time...
分类:
其他好文 时间:
2015-02-10 11:13:46
阅读次数:
220
普通开发电脑,如果没有网络查询步骤,kettle正常的速度应该在3000~20000条/秒。如果速度在2000条/秒一下,就可能需要调优。性能优化的方式包括如下几种:1.通过改变开始复制的数量(针对查询控件,这种方式比较简单,需要多长尝试合理的复制数量)2.在查询的控件中,条件是相等查询的话,可以使...
分类:
其他好文 时间:
2015-01-30 20:53:11
阅读次数:
781