#!/bin/bash export SHELL_HOME_PATH=/home/admin/test/data-integration/xlDataMigrationexport LANG=zh_CN.UTF-8export LOGS=/home/admin/test/data-integrati ...
分类：
系统相关 时间：
2017-04-24 17:20:29
阅读次数：
359
KETTLE集群搭建 说明： 本文档基于kettle5.4 一、集群的原理与优缺点 1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果。 Master c ...
分类：
其他好文 时间：
2017-04-23 10:47:34
阅读次数：
261
系统平台：windows系统，其他操作系统请参考其他资料。 Kettle自带的定时任务调度不太稳定，而且必须打开Kettle，可以通过windows的任务计划程序调用Kettle的Kitchen.bat来实现定时作业。 网上找了一些Kitchen.bat的参数，也是一知半解，没有深入研究。 kitc ...
分类：
Windows程序 时间：
2017-04-22 12:50:00
阅读次数：
1860
（1）.参照“java调用kettle_导入jar包（1）”,应用etl工具下lib里的所有jar （2）. 最近要对一个系统的数据同步到另一个系统中，要求新系统的数据结果完成之后，实时同步到另一个系统数据表中。 也就是动态的传一个关联的ID。由于旧系统是vb做的，无法提供webservice接口， ...
分类：
编程语言 时间：
2017-04-21 20:24:22
阅读次数：
385
Kettle transformation 操作内容快速查询 背景：kettle 版本： 6.0资源库类型：sql server 数据库 需求：快速查找整个项目中所有涉及某些关键词的表输入、sql脚本等sql语句内内容。相关表：R_TRANSFORMATION 转换 信息表 R_STEP_ATTRI ...
分类：
其他好文 时间：
2017-04-21 19:27:12
阅读次数：
217
Kettle是一款国外开源的ETL工具，纯Java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 业务模型： 在关系型数据库中有张很大的数据存储表，被设计成奇偶库存储，每个库100张一模一样的表，每张表存储1000W，自动切换到下一个表。现需要同步这个数据到H ...
分类：
其他好文 时间：
2017-04-20 18:36:59
阅读次数：
224
转换1=》核心控件[复制记录到结果] 转换2=》核心设置[设置命名参数] job1=》 核心设置： 1）高级[勾选“复制上一步结果到命名参数”；勾选“执行每一个输入行”] 2）命名参数： 设置命名参数，同时对应流列名 ...
分类：
其他好文 时间：
2017-04-17 13:17:24
阅读次数：
295
目标：利于kettle实现单表增量同步，以时间为判断条件 背景：源表：db1.q1 （2w条数据） 目标表：db2.q2（0条数据） 表结构： CREATE TABLE `q1` ( `ID` bigint(20) NOT NULL AUTO_INCREMENT, `anlage` varchar( ...
分类：
其他好文 时间：
2017-04-12 04:25:36
阅读次数：
132
1。kettle在数据库同步表之间的映射 在接口ValueMetaInterface定义了转换的类型，该类型定义了源数据库字段到Java代码的映射 public static final String[] typeCodes = new String[] { "-", "Number", "Stri ...
分类：
其他好文 时间：
2017-04-10 12:42:29
阅读次数：
126
在使用Kettle执行Job或者转换的时候有多种方式，例如：一：通过命令行来执行kitchen.sh来执行指定的Job，例如：kitchen.bat-file="../work/start.kjb"通过"Pan.bat"来执行指定的转换，例如：Pan.bat-file="../work/start.ktr"二：通过JavaAPI接口在代码中执行KettleEnvironment..
分类：
其他好文 时间：
2017-04-06 17:24:53
阅读次数：
3012
