2007年，当时项目所有ETL采用C编写，实现了ETL基本功能。当接口很多时，为保证文件获取效率，做好接口可配置；文件维护中经常会出现接口晚到情况，需要有一种方法能将接口晚到信息写入数据库，便于短信告警。当时刚学习Pro*C不久，就实现了该方法，如下#include #include #inc...
分类：
其他好文 时间：
2015-10-10 22:55:27
阅读次数：
254
一直用SSIS做ETL,越来越感觉这玩意不是亲生的.因此萌生换ETL工具的想法,不过Kettle社区版没什么调度系统,貌似错误处理也不是很方便,且先了解吧. 本文简略的记录了整个软件的使用流程. 开始 Kettle 的几个子程序的功能和启动方式 Spoon.bat: 图形界面方式启动作业和转换设计器...
分类：
其他好文 时间：
2015-10-05 20:45:56
阅读次数：
805
SSIS全称（Sql Server Integration Services），是 Microsoft BI 解决方案的一大利器。除了作为ETL的一种工具，在以下方面还有着突出的表现：(1) 系统维护： 1) 在数据库维护方面：数据库备份；统计信息更新；数据库完整性检查；索引重建SSIS 包执行；....
分类：
其他好文 时间：
2015-09-28 18:53:10
阅读次数：
317
这几天突发想到在ETL中Merge性能的问题。思路的出发点是Merge到目标表需要扫描的数据太多，而现实情况下，假设应该是只有一小部分会被更新，而且这部分数据也应该是比较新的数据，比方说对于想FactOrders这样一张表，一些越日期越久远的订单可能不可能被更新。那么整个思路就是减小每次需要从磁盘加...
分类：
数据库 时间：
2015-09-23 00:54:46
阅读次数：
257
Delay Validation Property in SSISHello!ETL can be very time consuming and also complicated process. In order that the business does not stands at cros...
分类：
其他好文 时间：
2015-09-14 15:33:36
阅读次数：
163
之前部署公司BI项目例子，发现数据库表都没有设置主键、外键，一直以为是模拟项目，不严谨要求的原因。今天才知道数据仓库本来就不设计主键和外键。这些约束在ETL编程的时候就该做好，保证在满足数据源约束的所有...
分类：
其他好文 时间：
2015-09-08 00:35:04
阅读次数：
141
Public Sub Main() ' ' Add your code here ' Dim sbWA As New StringBuilder Dim i As Integer Dim arWA As New Collections.ArrayList Dim bEOF As Boolean Fo...
分类：
其他好文 时间：
2015-09-04 14:10:59
阅读次数：
166
商务智能套件SpagoBI提供一个基于J2EE的框架用于管理BI对象如报表、OLAP分析、仪表盘、记分卡以及数据挖掘模型等的开源BI产品。它提供的BI管理器能 够控制、校验、验证与分发这些BI对象。 SpagoBI特性包括支持Portal、report、OLAP、QbE、ETL、dash...
分类：
其他好文 时间：
2015-09-02 13:43:27
阅读次数：
510
转自: http://tech.meituan.com/hive-sql-to-mapreduce.html （美团技术团队） Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存...
分类：
数据库 时间：
2015-08-31 23:30:31
阅读次数：
391
由于升级了MySQL到5.6,运行ETL报错：OPTION SQL_SELECT_LIMIT=DEFAULT上网查询原来是MySQL的驱动版本不一致，之前的驱动不支持这样的写法，于是上网下载对应的驱动，解决！http://dev.mysql.com/doc/relnotes/connector-j/...
分类：
数据库 时间：
2015-08-31 19:10:48
阅读次数：
538
