使用kettle在抽取大量excel数据时,总是遇到excel中有一些特殊字符,导致ExecuteSQL script步骤执行失败,本文记录一些方法过滤一些特殊字符。同行有更好的方式实现,欢迎指点,共同学习。...
分类:
编程语言 时间:
2015-06-11 08:12:14
阅读次数:
1027
一个对Nashorn脚本引擎很详细地介绍:http://winterbe.com/posts/2014/04/05/java8-nashorn-tutorial/下面是我测试的小例子,模拟在游戏中伤害计算脚本化:ScriptTest.java:packagecom.zl1030.ScriptTest;
importjava.io.FileReader;
importjavax.script.Invocable;
importjav..
分类:
编程语言 时间:
2015-06-09 13:59:32
阅读次数:
432
先前一直使用的是postgresql,因为网速的原因,所以打算将数据统一放到HDFS上,但是一条一条写HDFS是很慢的,全部写到本地文件再传到HDFS上也是一样慢,这样一来就有了本文,将部分先放到内存数据库中,然后再写到...
分类:
数据库 时间:
2015-06-05 18:00:46
阅读次数:
1459
kettle输入“去除空格类型”设置不上,设置完了还是现实“none”的办法:在xml中直接将对应处“none”改为“both”,即“去掉两边空格”。原文来自:http://blog.csdn.net/sptoor/article/details/24427627
分类:
其他好文 时间:
2015-06-02 13:11:01
阅读次数:
1956
在使用kettle进行数据分析和清洗时日志非常多而且杂乱,使用原有的日志有时找不到异常的位置,有时日志不够详细,说简单一点就是日志不是我们想要的。因而对kettle日志进行相应的管理就想得尤为重要了。大家都知道java最常用的日志管理包log4j可以很好地实现java日志的管理,然而kettle.....
分类:
其他好文 时间:
2015-06-02 13:10:29
阅读次数:
4546
1 引言:项目最近要引入大数据技术,使用其处理加工日上网话单数据,需要kettle把源系统的文本数据load到hadoop环境中2 准备工作:1 首先要了解支持hadoop的Kettle版本情况,由于kettle资料网上较少,所以最好去官网找,官网的url:http://wiki.pentaho.c...
分类:
其他好文 时间:
2015-06-01 20:15:58
阅读次数:
123
原创作品,出自 “深蓝的blog” 博客,欢迎转载,转载时请务必注明出处,否则追究版权法律责任。
深蓝的blog:
【目标】
利用kettle中的资源库功能,把ktr文件统一存储到数据库中,方便本地进行版本管理
ktr:使用kettle编辑的转换,被称为ktr;
转换:添加功能模块,实现ETL的项目称为转换。
一路确定后,点击ok完成资源库的...
分类:
数据库 时间:
2015-05-28 09:29:28
阅读次数:
265
任何一种编程语言都少不了循环,kettle中的job也一样。那么kettle中的job是怎么通过JavaScript来达到类似于编程语言中的for循环呢?var max = parent_job.getVariable("MAXCOUNT");var current = parent_job.get...
分类:
编程语言 时间:
2015-05-26 12:11:03
阅读次数:
190
日常开发中,为了确保账号和密码的安全,时常要对密码进行加密和解密。然而kettle是怎么对密码进行加密和解密的呢?下面的代码需要再转换中的JavaScript中运行。var encrypted_password = 'not encrypted';加密(js中调用):encrypted_passwo...
分类:
编程语言 时间:
2015-05-26 00:10:47
阅读次数:
790
日常开发中由于很多参数是变化的,需要在部署时才能确定。而写在配置文件里又显得很笨重,因而可以运行时实时指定。那么kettle是怎么获取命令行中的参数的呢?kettle可以通过转换里的JavaScript获取变量_step_.getTransMeta().getArguments()[0];
分类:
编程语言 时间:
2015-05-25 23:54:44
阅读次数:
271