1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop的sqoop数据导入导出工具 5) 数据可视化：定制开发web程序或使用kettle ...
分类：
其他好文 时间：
2019-01-02 23:28:02
阅读次数：
243
背景： 有时我们要根据输入的参数判断该走哪一个分支，比如aa为空走分支1，不为空走分支2， 可以把走的数据封装在trans里面，通过switch /case来进行控制； 如下图： switch /case 内容： 这样aa为空走分支1 不为空走分支2 获取变量的参数： ...
分类：
其他好文 时间：
2018-12-16 16:34:42
阅读次数：
199
Windows下Kettle定时任务执行并发送错误信息邮件 1.首先安装JDK 2.配置JDK环境 3.下载并解压PDI(kettle) 目前我用的是版本V7的，可以直接百度搜索下载社区版，企业版收费，社区版免费 下载地址：https://sourceforge.net/projects/penta ...
我把公司的kettle5.0升级到7.0之后遇到了这个问题，困扰了很久，百度谷歌都查不到结果，所以只能自己查找原因。 由于已经被搞好了，现在无法截图了，总之就是下面这行报错，遇到这个错误的同学估计也不需要看截图就明白： Unable to get list of element types for ...
分类：
其他好文 时间：
2018-12-12 14:55:40
阅读次数：
292
分组： 步骤名称：在单一转换中名称唯一。 分组字段：指定分组的字段。 聚合：指定需要聚合的字段，方法以及新字段结果的名称。 包含所有的行：如果选择该项，输出中就包含所有的行，不仅仅是聚合。 临时文件目录：临时文件存储的目录。 临时文件前缀：指定命名临时文件时的文件前缀。 添加行号，每一个分组重启：如 ...
分类：
其他好文 时间：
2018-12-07 21:27:29
阅读次数：
932
1：列转行2：列转行3：去除重复记录 步骤名称：保持唯一性 增加计数器到输出？：当勾选了此项，并在计数器字段后给予了名称，则将会在该字段下显示去掉的重复行数。 字段名称：用来去重的字段，可选多个字段，表示多个字段都相同时表示重复。 该功能类似与sql中的distinct关键字。 4：增加序列 一个序 ...
分类：
其他好文 时间：
2018-12-07 21:16:40
阅读次数：
148
1：合并记录 该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配， 比较，合并。 需要设置的参数： 旧数据来源：旧数据来源的步骤。 新数据来源：新数据来源的步骤。 标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下 ...
分类：
其他好文 时间：
2018-12-07 21:02:58
阅读次数：
605
kettle资源库 资源库是用来保存转换任务的，用户通过图形界面创建的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。kettle资源库元数据 1：资源库 资源库包括文件资源库，数据库资源库。 kettle4之后资源 ...
分类：
其他好文 时间：
2018-12-07 21:02:51
阅读次数：
247
1：空操作 该操作什么都不做，主要作用是，想测试的时候充当一个占位符。 例如：两个文本文件输入，同时连接到流查询步骤中，但是流查询仅仅能从一个流中查询信息，所以可以在同时连接流查询之前， 将两个文本文件输入连接到空操作，然后再让空操作去连接流查询。 空操作组件具有合并记录的作用。 2：过滤记录 该步 ...
分类：
其他好文 时间：
2018-12-07 20:51:01
阅读次数：
334
1：数据库查询 数据库连接：所要连接的数据库 模式名称：一般选取用户模式 表名：所要查询的表名 是否使用缓存：指定是否使用数据库缓存查询结果。 缓存大小：指定缓存的大小。 从表中加载所有数据：选中该项，缓存将不被利用。 查询所需的关键字： 表字段：表示所选中的表中的字段。 比较操作符：对选中字段进行 ...
分类：
其他好文 时间：
2018-12-07 20:50:10
阅读次数：
224
