码迷,mamicode.com
首页 >  
搜索关键字:pdi kettle 加速插入    ( 591个结果
ETL工具怎么进行值映射(类似oracle的cas when功能)
这里所说的值映射就有点类似oracle的caswhen功能,比如有个字段a的值为1,但是我现在想让a=1的时候变成a男,也就是1映射成男,这就是所说的值映射,那么怎么操作呢,实际上kettle有一个“值映射”组件;接下来就简单介绍下怎么使用;首先在程序左边的搜索框中输入值映射,找到值映射组件,然后拖到所需要的位置,然后双击点开,首先你可以设置一个步骤名称,不想设默认也行,接下来选择使用的字段名,这
分类:数据库   时间:2018-08-31 15:46:05    阅读次数:258
ETL工具kettle简单的性能调优
一般有几项1.杂项,这个是设置的前一个步骤到下个步骤的缓存,默认是10000操作为,进入转换,右键点击空白处或者双击空白处,单击的话进入设置,会出现如图选择杂项,主要设置‘记录集合里的记录数’,可以适当的加大,也不要太大,会对内存造成很大的压力;2.设置多线程这种情况需要注意一个地方在下面的步骤度量的最右边有一个Pri/in/out栏,会显示类似这样的结果:a/b,a和b是两个数字,如果a>
分类:其他好文   时间:2018-08-27 22:33:28    阅读次数:331
ETL工具kettle怎么做定时任务
kettle做定时任务平时任务中经常需要用两种方法;一、kettle自带的功能。具体操作如下:首先形成一个job,然后点击开始组件;结果如图:当需要定时时,那么就是需要重复;此时勾选重复选项,然后点击类型下拉选选择你需要定时的类型,如时间间隔,天,周,月;如果选择时间间隔,意味着你每隔多长时间执行一次,单位是分秒,自行选择。如图当选择了天,那么就是意味着在每天的几点执行,如图当选择了周,就意味这是
分类:其他好文   时间:2018-08-27 22:31:52    阅读次数:882
ETL工具kettle的数据分发和复制的区别
大家在实际操作过程中可能会出现一个这样的情况,当你将一个组件与另一个组件进行连接时,会出现一个告知框,如图这时候会让你选择分发或者复制,这时候很多朋友会疑惑,这俩有啥区别呢;当你的目标组件是单线程时,选谁没区别,什么叫目标组件和单线程呢,我这样解释如图:当你从表输出到更新时,更新就是目标组件,这时更新的组件左上方没有出现数字时就是单线程,当出现数字时就是多线程,如图咱们继续复制和分发,怎么区分是复
分类:其他好文   时间:2018-08-27 22:31:16    阅读次数:4455
ETL工具kettle怎么实现增量数据抽取:二 时间戳
再进行增量数据抽取的时候,通过标志位来进行之外,还可以通过时间戳,所谓的时间戳就是某个时间字段,最好每条记录的该字段都是非空的;这种方法很简单,就是在输入的时候增加where条件;where条件语句就是一个时间的范围;
分类:其他好文   时间:2018-08-27 21:49:12    阅读次数:193
ETL工具kettle怎么进行增量数据抽取:一、通过标志位
增量同步数据
分类:其他好文   时间:2018-08-24 00:28:27    阅读次数:1132
ETL工具kettle的csv输入和excel输入
实际工作中我们可能回经常将excel或者csv的数据导入到数据库中,这里讲下怎么通过kettle进行导入;首先说下这两种格式的区别:CSV是文本文件,用记事本就能打开,XLS是二进制的文件只有用EXCEL才能打同时CSV(*.csv)文件格式只能保存活动工作表中的单元格所显示的文本和数值。工作表中所有的数据行和字符都将保存。数据列以逗号分隔,每一行数据都以回车符结束。如果单元格中包含逗号,则该单元
分类:其他好文   时间:2018-08-22 11:10:23    阅读次数:1471
【Oracle】ORA-14400: 插入的分区关键字未映射到任何分区
问题描述: 工作中使用kettle将原始库中的数据抽取到标准库中,在抽取过程中报错:【ORA-14400: 插入的分区关键字未映射到任何分区】/【ORA-14400: inserted partition key does not map to any partition】 解决过程: ORA-14 ...
分类:数据库   时间:2018-08-21 15:22:24    阅读次数:489
ETL工具kettle基础--插入更新组件
插入更新组件主要是对表进行插入或者更新操作这个组件的逻辑是,根据选定的字段判断目标表中是否存在现有数据,如果存在则执行更新操作,否则执行插入操作;首先选择或添加一个数据库连接,目标模式指的是用户,用户同实例跨用户访问,提交记录数量理论上比较大的值有助于提高速度,但有可能引起锁表,所以一般不要设置太大,100-10000之间就好,如果出现频繁锁表的情况下也可以将值设置为1;‘不执行任何更新’:这个选
分类:其他好文   时间:2018-08-21 11:35:42    阅读次数:271
数据处理-数据管理 模式
数据处理(data processing)是对数据的采集、存储、检索、加工、变换和传输。 根据数据处理的不同阶段,有不同的专业工具来对数据进行不同阶段的处理。 在数据转换部分,有专业的ETL工具来帮助完成数据的提取、转换和加载,相应的工具有Informatica和开源的Kettle。 在数据存储和计 ...
分类:其他好文   时间:2018-08-18 13:08:21    阅读次数:178
591条   上一页 1 ... 14 15 16 17 18 ... 60 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!