实际工作中我们可能回经常将excel或者csv的数据导入到数据库中,这里讲下怎么通过kettle进行导入;首先说下这两种格式的区别:CSV是文本文件,用记事本就能打开,XLS是二进制的文件只有用EXCEL才能打同时CSV(*.csv)文件格式只能保存活动工作表中的单元格所显示的文本和数值。工作表中所有的数据行和字符都将保存。数据列以逗号分隔,每一行数据都以回车符结束。如果单元格中包含逗号,则该单元
分类:
其他好文 时间:
2018-08-22 11:10:23
阅读次数:
1471
问题描述: 工作中使用kettle将原始库中的数据抽取到标准库中,在抽取过程中报错:【ORA-14400: 插入的分区关键字未映射到任何分区】/【ORA-14400: inserted partition key does not map to any partition】 解决过程: ORA-14 ...
分类:
数据库 时间:
2018-08-21 15:22:24
阅读次数:
489
插入更新组件主要是对表进行插入或者更新操作这个组件的逻辑是,根据选定的字段判断目标表中是否存在现有数据,如果存在则执行更新操作,否则执行插入操作;首先选择或添加一个数据库连接,目标模式指的是用户,用户同实例跨用户访问,提交记录数量理论上比较大的值有助于提高速度,但有可能引起锁表,所以一般不要设置太大,100-10000之间就好,如果出现频繁锁表的情况下也可以将值设置为1;‘不执行任何更新’:这个选
分类:
其他好文 时间:
2018-08-21 11:35:42
阅读次数:
271
数据处理(data processing)是对数据的采集、存储、检索、加工、变换和传输。 根据数据处理的不同阶段,有不同的专业工具来对数据进行不同阶段的处理。 在数据转换部分,有专业的ETL工具来帮助完成数据的提取、转换和加载,相应的工具有Informatica和开源的Kettle。 在数据存储和计 ...
分类:
其他好文 时间:
2018-08-18 13:08:21
阅读次数:
178
1 将windows下面创建好的转换,放到Linux某一个文件夹下面。如:把0816_em.ktr文件放到/home/cfj/kettle/testdemo下面。 注意里面的数据库用户名和密码可能需要改,如果是job文件如:job0816_01.kjb。记得把里面存的路径改了,如下图: 2 编辑脚本 ...
分类:
系统相关 时间:
2018-08-17 14:57:21
阅读次数:
700
0 创建转换 并保存0816_em.ktr 1 主对象树中选择DB连接,创建2个DB连接 2 创建表输入 核心对象树中选择输入》表输入 3 核心对象树中选择输出》插入/更新表 并连线 4 设置插入/更新 5 保持转换 6 创建任务job0816 通用里面选择START 和 转换,并连线 ...
分类:
其他好文 时间:
2018-08-16 13:55:08
阅读次数:
156
Kettle是一款开源的、元数据驱动的ETL工具集,是开源ETL工具里功能比较强大的一个。用来帮助你实现:抽取、转换、装入、和加载数据;翻译成中文名称水壶,名字的起源正如该项目主程序员MATT在一个论坛里说的那样:希望把各种数据放到一个壶里然后以一种指定格式流出。 Kettle是一个独立的产品,但它 ...
分类:
其他好文 时间:
2018-08-14 14:44:18
阅读次数:
163
Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许你管理来自不同 ...
分类:
其他好文 时间:
2018-08-08 21:33:40
阅读次数:
185
kettle学习之Spoon使用 首先介绍两个博客入门: https://blog.csdn.net/zzq900503/article/details/78543778 https://blog.csdn.net/Install_/article/details/80252565 自己的安装过程: ...
分类:
其他好文 时间:
2018-08-02 01:48:04
阅读次数:
193
kettle--window开发环境和linux运行环境的迁移 kettle的输入输出组件和脚本组件 kettle--变量的使用 kettle的资源库 kettle的job kettle的hello world 出处:http://www.cnblogs.com/dongdone/category/ ...
分类:
其他好文 时间:
2018-07-26 18:41:41
阅读次数:
172