接下来几天给大家介绍下几个常用的kettle组件1.剪切字符串所谓的剪切字符串,就类似于Oracle的substr函数,具体位置在某个转换的核心对象-转换中,如图使用方法为--双击打开组件,选择你要裁剪的流字段(必须),输出字段(选填),输入初始和结束位置,这样就好了;2.增加常量所谓的增加常量就是增加x个字段,而这每个字段的值都是常量(这里的x是个大于等于0的自然数),具体位置在某个转换的核心对
分类:
其他好文 时间:
2018-09-03 11:14:09
阅读次数:
1106
ETL工具kettle,在老版设计后,使用新版时,居然发生了内存溢出的错误: 出现: java heap 或者 OutOfMemory等字样 这是kettle分配的内存不足。 在kettle的运行路径中,用文本编辑器打开Spoon.bat,找到: REM ********************** ...
分类:
其他好文 时间:
2018-09-01 17:37:01
阅读次数:
168
性能调优在整个工程中是非常重要的,也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面:一方面是硬件调优,一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。 一、Kettle调优 1、 调整JVM大小进行性能优化,修改Kettle定时任务中的Ki ...
分类:
其他好文 时间:
2018-09-01 17:33:04
阅读次数:
235
作者:Grey 原文地址: http://www.cnblogs.com/greyzeng/p/5524614.html 需求: 将Oracle数据库中某张表历史数据导入MySQL的一张表里面。 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 思 ...
分类:
其他好文 时间:
2018-09-01 17:29:37
阅读次数:
695
这里所说的值映射就有点类似oracle的caswhen功能,比如有个字段a的值为1,但是我现在想让a=1的时候变成a男,也就是1映射成男,这就是所说的值映射,那么怎么操作呢,实际上kettle有一个“值映射”组件;接下来就简单介绍下怎么使用;首先在程序左边的搜索框中输入值映射,找到值映射组件,然后拖到所需要的位置,然后双击点开,首先你可以设置一个步骤名称,不想设默认也行,接下来选择使用的字段名,这
分类:
数据库 时间:
2018-08-31 15:46:05
阅读次数:
258
一般有几项1.杂项,这个是设置的前一个步骤到下个步骤的缓存,默认是10000操作为,进入转换,右键点击空白处或者双击空白处,单击的话进入设置,会出现如图选择杂项,主要设置‘记录集合里的记录数’,可以适当的加大,也不要太大,会对内存造成很大的压力;2.设置多线程这种情况需要注意一个地方在下面的步骤度量的最右边有一个Pri/in/out栏,会显示类似这样的结果:a/b,a和b是两个数字,如果a>
分类:
其他好文 时间:
2018-08-27 22:33:28
阅读次数:
331
kettle做定时任务平时任务中经常需要用两种方法;一、kettle自带的功能。具体操作如下:首先形成一个job,然后点击开始组件;结果如图:当需要定时时,那么就是需要重复;此时勾选重复选项,然后点击类型下拉选选择你需要定时的类型,如时间间隔,天,周,月;如果选择时间间隔,意味着你每隔多长时间执行一次,单位是分秒,自行选择。如图当选择了天,那么就是意味着在每天的几点执行,如图当选择了周,就意味这是
分类:
其他好文 时间:
2018-08-27 22:31:52
阅读次数:
882
大家在实际操作过程中可能会出现一个这样的情况,当你将一个组件与另一个组件进行连接时,会出现一个告知框,如图这时候会让你选择分发或者复制,这时候很多朋友会疑惑,这俩有啥区别呢;当你的目标组件是单线程时,选谁没区别,什么叫目标组件和单线程呢,我这样解释如图:当你从表输出到更新时,更新就是目标组件,这时更新的组件左上方没有出现数字时就是单线程,当出现数字时就是多线程,如图咱们继续复制和分发,怎么区分是复
分类:
其他好文 时间:
2018-08-27 22:31:16
阅读次数:
4455
再进行增量数据抽取的时候,通过标志位来进行之外,还可以通过时间戳,所谓的时间戳就是某个时间字段,最好每条记录的该字段都是非空的;这种方法很简单,就是在输入的时候增加where条件;where条件语句就是一个时间的范围;
分类:
其他好文 时间:
2018-08-27 21:49:12
阅读次数:
193