在hadoop开发或者使用中，可能会使用到一些插件或3方软件，比如：Eclipse的Hadoop插件，ETL的Kettle。那么就存在一个hdfs目录权限的问题。 下面就这个权限问题进行阐述。
分类：
其他好文 时间：
2016-02-29 12:15:03
阅读次数：
152
Pentaho Data Integration(kettle):一个优秀的抽取、转换、加载(Extract Transform and Load,ETL)工具 Pentaho Report Server：一个强大的报告引擎 PgAdmin3：一个极好的数据库管理工具 php5-postgresql
分类：
数据库 时间：
2016-02-19 09:07:33
阅读次数：
218
Kettle版本4.1.0打开Spoon软件，windows下面双击Spoon.bat即可。创建一个转换。创建两个数据源，一个是oracle的一个是mysql的。创建表输入。创建字段选择创建表输出，将输入表的value字段映射为输出表的str字段。注意：如果目标表没有，是新建的，则应该点击SQL按键进行SQL语句创建表。将三个步骤连接起来。创建一个作业创建一个转换创建一个定时job连接好job和t...
分类：
数据库 时间：
2016-01-22 18:18:16
阅读次数：
238
??Kettle版本4.1.0打开Spoon软件，windows下面双击Spoon.bat即可。创建一个转换。创建两个数据源，一个是oracle的一个是mysql的。创建表输入。创建字段选择创建表输出，将输入表的value字段映射为输出表的str字段。注意：如果目标表没有，是新建的，则应该点击SQL按键进行SQL语句创建表。将三个步骤连接起来。创建一个作业创建一个转换创建一个定时job连接好job...
分类：
数据库 时间：
2016-01-22 18:16:48
阅读次数：
271
一、kettle变量类型kettle变量分为：1.环境变量通过 set variables组件设置变量，范围可以是：JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量2.属性文件变量在.kettle目录下的kettle.property文件中设置，...
分类：
其他好文 时间：
2016-01-11 17:49:02
阅读次数：
6912
首先声明本人不懂Java，只是从执行结果推测Kettle的处理机制，有不对的地方，还请多多指教。据我推测：SQL对数据的处理是批量处理的，而Kettle对数据的处理是逐行处理的。先理解一下meger（合并）和join（连接），假设A表两个字段，B表两个字段meger: 结果为两个字段。join: 结...
分类：
数据库 时间：
2016-01-09 18:13:18
阅读次数：
326
1.转换的并行转换的并行是改变复制的数量上面的转换相当于下面的：实际是把一个任务拆成三部分执行，相当于在一个数据库连接中做了三次查询，数据库连接的开销没有增加，但是有三个进程一起执行。2.job的并行执行只需要在"START"设置即可。建议：将job的条目都做成子job.(To do this, w...
分类：
其他好文 时间：
2016-01-06 10:18:13
阅读次数：
153
拉链表是在数据仓库中常见的表，主要用还存储不按时间变化的表，比如客户基本信息表。下面先建两个实例表，user_info和user_info_l，其中user_info_l为拉链表。user_info表及数据：user_info_l表及转换后的数据：kettle的设计其实很简单，就一个“表输入”一个“...
分类：
其他好文 时间：
2015-12-22 20:59:38
阅读次数：
1063
安装Oracle我用的是Win10 64位，官网下载64位 Oracle 12c，两个文件。解压第一个文件之后安装，但是安装到一半错误，提示缺失文件。后来发现原来两个文件要单独解压，解压后根据目录合并在一起。再次安装，安装到88%卡住不动了。我以为安装又失败了，就关了，但是发现可以用，就这么用吧。创...
分类：
数据库 时间：
2015-12-17 20:39:40
阅读次数：
3892
