ETL的考虑做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了...
分类：
其他好文 时间：
2015-10-23 18:42:13
阅读次数：
1221
【背景】
利用kettle工具，完成某表的增量工作。
【解决】
利用模块完成即可，如下简图：
【实验】
先手工准备一个实验环境：
准备基本完成如下效果：
select t.*, t.rowid from EMP_ETL t
select max(hiredate) maxsj from EMP_ETL
我们验证将2015年10月22日的数据插入目标表中。
创建目标表：...
分类：
其他好文 时间：
2015-10-22 06:47:54
阅读次数：
280
我有一个应用程序，是实现数据ETL同步的，即把数据从一个db里抽取出来，经过处理后，存储到另一个db里。 O/RM采用的是EF db First。随着项目程序的开发，EF的不足越来越不足。●根据EDM生成的类，没有继承关系，影响程序设计实现我是直接根据edmx文件生成的类， 每个数据表对应一个cla...
分类：
其他好文 时间：
2015-10-21 17:20:35
阅读次数：
308
声明：本文摘录自《大数据日知录——架构与算法》一书。较常见的计算模式有4类，实际应用中大部分ETL任务都可以归结为这些计算模式或者变体。1.求和模式 a.数值求和 比如我们熟悉的单词计数，即使该模式的一个应用。求最大最小值，求平均值皆属此类。 b.记录求和 非数值内容的累加，形成队列。比如将...
分类：
其他好文 时间：
2015-10-17 21:54:02
阅读次数：
281
RT，正式写之前，我想说，真TMD不容易！！！写博客，责任心，很重要在百度搜出来的内地博客技术文章（CSDN、ITEYE、CNBLOGS……），大部分都是不全面，只针对一个遇到的问题点的记录，可以说毫无参考价值，甚至会把你指向错误的方向。为什么？因为无当时系统环境交待，工具版本信息，其它客观因素（非...
分类：
数据库 时间：
2015-10-16 13:17:18
阅读次数：
228
相信在Etl的过程中不可避免的实用union all来拼装数据，那么这就涉及到是否并行处理的问题了。在hive中是否适用并行map，可以通过参数来设定：set hive.exec.parallel=true; 那么还是实用上一篇博客的数据，链接：http://www.cnblogs.com/liqi...
分类：
数据库 时间：
2015-10-13 01:30:10
阅读次数：
256
BI应用中，对接口规范性约束很重要，接口文件提供需要配套提供该文件的校验文件，校验文件格式如下：序号信息内容数据类型及长度说明1接口数据文件名称CHAR(50)2文件的大小（字节数）NUMBER(20)文件的物理存储大小3文件中包含的记录数NUMBER(20)4数据日期CHAR(10)如果抽取周期....
分类：
系统相关 时间：
2015-10-11 00:23:48
阅读次数：
444
ETL应用场景中，若对端接口文件未能提供，任务会处于循环等待，直到对端提供为止，该方法极大的消耗了系统资源。为此想到了一种方法，一次获取一个平台的文件，实现思路如下： 1、第一次获取对端平台提供目录下给定日期的所有接口文件，并保存文件列表； 2、后续每隔n分钟重启获取任务，每次先获取文件列表，和上....
分类：
其他好文 时间：
2015-10-11 00:22:52
阅读次数：
165
ETL处理过程中，经常需要进行文件校验，如文件级校验、记录级校验，需要保存文件的基本信息，文件名、文件大小、数据日期等，使用Pro*C的一种方法如下：#include #include #include #include #include #include #include #include #in...
分类：
其他好文 时间：
2015-10-11 00:22:34
阅读次数：
181
/************************************************ 函数功能 :***** 抽取数据库记录*************************************************/int extract_data(char *ef...
分类：
其他好文 时间：
2015-10-11 00:16:46
阅读次数：
197
