元数据的通用概念: “描述性数据”或“数据的数据” ETL的元数据: 描述ETL要执行的任务 在Kettle里元数据的存储方式: 资源库 资源库包括文件资源库、数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 XML文件 。ktr转换文件的XML的根节点必须是 .kjb作业XML的根节 ...
分类:
其他好文 时间:
2018-01-11 16:19:10
阅读次数:
155
成本: " 软件 " 成本包括多方面,主要包括软件产品, 售前培训, 售后咨询, " 技术 " 支持等。 " 开源 " 产品本身是免费的,成本主要是培训和咨询,所以成本会一直维持在一个较低水平。 商业产品本身价格很高,但是一般会提供几次免费的咨询或支持,所以采用商用软件最初成本很高,但是逐渐下降。 ...
分类:
其他好文 时间:
2018-01-11 16:07:45
阅读次数:
235
Kettle 的几个子程序的功能和启动方式 Spoon.bat :图形界面方式启动作业和转换设计器。 Pan.bat :命令行方式执行转换。 Kitchen.bat :命令行方式执行作业。 Carte.bat :启动web服务,用于 Kettle 的远程运行或 集群运行。 Encr.bat :密码加 ...
分类:
其他好文 时间:
2018-01-11 15:51:33
阅读次数:
138
1. Kettle简介 Kettle是一个开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定,基本的数据抽取、转换、加载,他都可以。 可以把各种数据放到一个壶里,然后以一种指定的格式流出,比如一个mysql数据库的数据同步到一个Postg ...
分类:
其他好文 时间:
2018-01-11 15:49:58
阅读次数:
101
Kettl:Kettle is an acronym for "Kettle E.T.T.L.Emvironment". This means it has been designed to help you with your ETTL needs: the Extraction, Transfo ...
分类:
其他好文 时间:
2018-01-11 15:27:39
阅读次数:
107
数据etl常用工具kettle。 1、说明: kettle-数据源配置化:是指kettle的数据源连接信息全部或者部分从配置文件中读取(如果是数据库的资源库,那么资源库也可以配置化)。 2、优点: 1、这样程序本身就和kettle的业务解绑了,开发、生产采用不同配置;每次开发完成就可以直接导入线上, ...
分类:
其他好文 时间:
2018-01-06 18:04:31
阅读次数:
161
注意:合并记录的使用前提是2个数据源都按比较关键字排过序,否则合并之后的数据不准确,可能会多出很多。 该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。 需要设置的参数: 旧数据来源:旧数据来源的步骤 新数据来源。新数据 ...
分类:
其他好文 时间:
2018-01-02 13:24:32
阅读次数:
2407
在数据库连接上添加字符集编码参数characterEncoding, 指定UTF8或GBK ...
分类:
数据库 时间:
2017-12-31 10:45:56
阅读次数:
125
What 起源 Kettle是一个Java编写的ETL工具,主作者是Matt Casters,2003年就开始了这个项目,最新稳定版为7.1。 2005年12月,Kettle从2.1版本开始进入了开源领域,一直到4.1版本遵守LGPL协议,从4.2版本开始遵守Apache Licence 2.0协议 ...
分类:
其他好文 时间:
2017-12-31 00:33:49
阅读次数:
726
开源免费--最喜欢的四个字没有之一 1.官网下载 https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 下载完后,解压即可,双击Spoon.bat就可以启动了。 2. 配置JVM及内存配置问题 自行配置 参考: http ...
分类:
编程语言 时间:
2017-12-29 23:35:38
阅读次数:
1004