一个实战的示例，利用kettle组件导入excel文件到数据库，然后通过java代码调用，完整有效，自由掌控。...
分类：
数据库 时间：
2014-11-14 10:47:24
阅读次数：
286
在kettle中实现数据验证和检查 在ETL项目，输入数据通常不能保证一致性。在kettle中有一些步骤能够实现数据验证或检查。验证步骤能够在一些计算的基础上验证行货字段；过滤步骤实现数据过滤；javascript步骤能够实现更复杂的计算。 通常以某种方式查看那些数据是有缺陷的也是实用的，由于大多....
分类：
其他好文 时间：
2014-11-12 19:21:09
阅读次数：
235
我们知道所谓ETL步骤其实就是把数据从源系统加载到数据仓库或数据集市的操作，并在此过程中实现数据的清洗及转换。除了数据的清洗转换之外，一次ETL的过程中另一个十分重要的部分就是：本次抽取能不能直接定位到上次数据处理后变动的数据，即增量抽取(IncrementalLoad)。取决于..
分类：
其他好文 时间：
2014-11-11 14:31:47
阅读次数：
213
【声明】欢迎转载，但请保留文章原始出处→_→生命壹号：http://www.cnblogs.com/smyhvae/文章来源：http://www.cnblogs.com/smyhvae/p/4085684.html联系方式：smyhvae@163.com 【正文】这一周状态不太好，连续打了几天的点...
分类：
数据库 时间：
2014-11-09 19:26:10
阅读次数：
376
Autofac 是一款优秀的IOC的开源工具，完美的适配.Net特性，但是有时候我们想通过属性注入的方式来获取我们注入的对象，对不起，有时候你还真是获取不到，这因为什么呢？1.你对Autofac 不太了解，在这个浮躁的社会，没有人会认真的了解每个开源项目，只要求能用就行2.没有时间了解，你是一个很忙...
分类：
其他好文 时间：
2014-11-08 23:34:18
阅读次数：
834
对于任何事物而言，监督都是提高自身的有效手段，BI也是如此。从我个人的经验而言，BI的监督可以分为两类(欢迎拍砖讨论)：运行时监督(RuntimeMonitoring)与数据仓库健康状况的监督(DWHealthyMonitoring)：1.运行时监督所谓运行时监督是指监督数据从数据源到流到数据仓库的过程..
分类：
其他好文 时间：
2014-11-07 19:15:14
阅读次数：
320
1 awk 用途 报告生成工具，主要在处理文本方面特别强大，也是一个独立的程序语言，与grep sed 构成处理文本工具的三剑客。同gawk 都是 GNU组织开发的开源工具2 awk的工作原理，已每个记录进行每个域的分离，如 常常是以每一行作为一个记录，空白作为默认的与分隔符，然后以内置变量对每个域...
分类：
其他好文 时间：
2014-11-07 14:37:18
阅读次数：
268
通过命令行也可以调用，然后java中调用命令行代码也可以；这样没有和java代码逻辑无缝集成。本文说明kettle5.1中如果通过其他API和java代码无缝集成；网上大多数资料都是低版本的，在kettle5.x中已经不能运行。...
分类：
编程语言 时间：
2014-11-07 07:33:27
阅读次数：
239
工作确定下来了，但还有很多事情要做。 前段时间由于项目的原因接触语音识别，看了一些文献，并在HTK、PocketSphinx等开源工具上按照例程实现了语音识别功能，但仍缺乏系统的学习；针对我的情况，主管建议我利用毕业前这段时间打好基础，并给出下面的资料： 模式识别基础：Pattern Rec...
分类：
其他好文 时间：
2014-11-07 06:12:31
阅读次数：
195
今天在做SSIS的ETL工作时，其中一个left join组件的运行结果总是会多出一些记录。分析了一下，该问题的原因是右表中作为关联的那一列数据有重复。left join的运行策略可以理解为根据左表的每一条记录的关联字段去对照右表的关联字段，如果右表的关联字段存在重复，就会生成重复的记录。如果左.....
分类：
数据库 时间：
2014-11-06 21:27:06
阅读次数：
230
