最近大家需要对mongodb和postgres数据库操作比较频繁，给大家推荐一个数据处理工具Kettle，希望对你能有所帮助 ① 将mongodb数据库中的表进行处理然后导出来生成csv，txt,excel格式，同样也能将表导入到其他mongodb数据库中 ② 如果你用csv或是excel构造了自己 ...
分类：
数据库 时间：
2016-09-14 16:46:02
阅读次数：
180
Kettle在控件中拥有行列转换功能，但是行列转换貌似是弄反了。 一.行转列 1.数据库脚本 2.总体行转列示意图 2.1表输入配置 2.2列转行配置 2.3字段选择配置 2.4文本文件输出配置 输出到文件后查看内容 二.列转行 1.数据库脚本 2.整体示意图 2.1表输入 2.2行转列 2.3字段 ...
分类：
其他好文 时间：
2016-09-14 12:19:55
阅读次数：
154
使用kettle调用资源库中的作业或者是转换，需要注意一下两个问题： 问题一：（-rep后不需要IP）标准shell代码如下 问题二：把windows路径下的.kettle文件夹上传到Linux的"/root/用户/"下（我的windows用户叫做oliver, Linux叫做kettle） 例如： ...
分类：
系统相关 时间：
2016-09-13 13:17:40
阅读次数：
597
1.简介 先生成随机数，将生成的2列随机数进行计算，并且格式化计算结果 2.kettle流程图 3.流程图详细描述 3.1生成随机数 生成2个随机数字，列名为N1，N2 3.2计算器 将N1与N2对应的值进行相加，然后赋值N3 3.2字段选择 点击“元数据”，进行如下设置 所有设置完毕，点击“预览” ...
分类：
其他好文 时间：
2016-09-10 09:00:03
阅读次数：
545
下面是一个用Kettle实现数据过滤、生成随机数、改变开始复制数量的连贯示意图。 首先，我们将控件一一建立，通过hop建立连接 下面对每一个控件进行设置 1.生成随机数控件（随机取一个数字与字符串） 2.过滤控件 3.文本文件输出 4.改变开始复制的数量 这个功能实际的含义是：设置多少份的拷贝，开多 ...
分类：
其他好文 时间：
2016-09-10 01:32:21
阅读次数：
514
1需求描述 使用Linux中的CRONTAB调度kettle 2 数据库环境 3 整体示意图 3.1 ETL.kjb 3.2 Tran.ktr 3.3 调度示意图 使用Linux调度kjb,使用kjb调度ktr 4 参数设置 首先在ETL.kjb中定义参数 右键 作业设置 接着看到如下界面：设置作业 ...
分类：
其他好文 时间：
2016-09-09 20:21:20
阅读次数：
233
第一部分需要三个步骤： 选择输入步骤，“生成记录”，将步骤里设置记录数为1，并设置一个类型为String的字段country（名字随便），这个字段的值应设置为我们要抽取数据的URL，如： 然后，添加一个“HTTP 客户端”步骤，并把这两个步骤连起来。对于“HTTP 客户端”来说，选择“从字段中获取U ...
分类：
Web程序 时间：
2016-09-09 16:47:20
阅读次数：
3216
环境描述： 现在一个项目有很多个作业，需要知道每次跑批后哪些ktr跑成功，哪些失败了 问题解决： 下面是一个具体的操作流程 首先建立数据库表 数据库表建立完毕之后，新建ktr,ktr示意图如下： 在上图界面右键--“转换设置”，可以看到如下界面： 上图中日志数据库连接为数据库日志表所存放数据库的连接 ...
分类：
其他好文 时间：
2016-09-08 18:16:42
阅读次数：
217
本文要点：Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。 Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上 ...
分类：
其他好文 时间：
2016-09-08 16:00:36
阅读次数：
177
OrientDB 官网 http://orientdb.com/orientdb/ 准备工作， 1、下载Pentaho Data Integration (Kettle) version 6.0 , 2、JDK 8.0 , 3、OrientDB v2.2 4、JDBC Drivers for Ori ...
分类：
数据库 时间：
2016-09-03 13:38:45
阅读次数：
304
