ETL(Extract-Transform-Load，即抽取，转换，加载)，数据仓库技术，是用来处理将数据从来源（以前做的项目）经过抽取，转换，加载到达目的端（正在做的项目）的过程。也就是新的项目需要使用以前项目数据库中的数据，ETL就是解决这个问题的。 ETL实现共同注意点:正确性，完整性，一致性... ...
分类：
其他好文 时间：
2016-11-10 09:58:16
阅读次数：
218
Kettle+MongoDB数据同步到MySQL1、前言：MongoDB中的date类型以UTC（CoordinatedUniversalTime）存储，isodate类型，就等于GMT（格林尼治标准时）时间。而北京所处的是+8区，所以mongoshell会将当前的GMT+0800时间减去8，存储成GMT时间。2、抽取作业概述3、组件选择：4、增量处..
分类：
数据库 时间：
2016-11-04 17:29:10
阅读次数：
495
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法，跟大家分 ...
分类：
其他好文 时间：
2016-11-03 18:39:10
阅读次数：
296
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 欢迎转载 最近把之前写的Hadoop MapReduce程序又总结了下，发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以 ...
分类：
其他好文 时间：
2016-10-27 19:50:59
阅读次数：
1259
1.txt文本文件数据输入到数据库表中： 表输入用于动态的获取文件路径，文件路径假定为由日期动态确定。Set Variables用于将filename设置为变量，文件目录设为变量${filename}，具体见下图。 表输出设置，设置好目标表所在库以及目标表后，点击Enter Field mappin ...
分类：
其他好文 时间：
2016-10-25 16:30:43
阅读次数：
214
用户登录APP，然后浏览了一些列页面。如果获取用户行为数据时没有对每次登陆分组，那么想知道用户每次登陆的行为数据就有点难了。下面使用 Kettle UDJC 组件给用户行为序列分组添加序列。 ...
分类：
其他好文 时间：
2016-10-21 18:56:33
阅读次数：
214
具体错误如下： 解决办法： 这是由于缓存文件造成的错误，只需要找到..\pdi-ce-6.0.1.0-386\data-integration\system\karaf目录下缓存文件删除，我的缓存文件如下图： 有些可能就在该目录下，文件名为：cache 删除后重新启动就不会报错了。 ...
分类：
其他好文 时间：
2016-10-17 13:59:01
阅读次数：
2333
本设计基于以下需求提出 1. 快速接入数据源表(贴源/落地) 2. 无须给单独表开发转换/作业 3. 动态生成数据源连接, 表字段等信息(预先保存在数据仓库中) 本设计所需条件 1. 数据源为关系型数据库 2. 不同数据源需要写一小段Java Scripts以保证数据源连接可用 总体作业结构 jb_ ...
分类：
其他好文 时间：
2016-10-11 11:51:18
阅读次数：
262
什么是OGNL? OGNL:Object Graph Navigation Language（全称为对象图导航语言，是一种功能强大的表达式语言，它通过简单一致的语法，可以任意存取对象的属性或者调用对象的方法，能够遍历整个对象的结构图，实现对象属性类型的转换等功能。） 开源项目，取代页面中Java脚本 ...
分类：
其他好文 时间：
2016-10-10 20:51:14
阅读次数：
221
新使用的控件有：根据字段的值来改变序列、生成随机值、获取系统时间、增加序列 ...
分类：
其他好文 时间：
2016-09-24 19:10:38
阅读次数：
519
