目前Teradata数据仓库的ETL作业采用ELT方式, 因为loading太重了, 需要将ETL压力转移到专门的ETL Server上. 对于ETL工具, 市场上已有很成熟的商业/开源工具, 比如Informatica的PowerCenter, IBM的Datastage, 开源的Kettle. ...
分类：
数据库 时间：
2015-08-31 19:06:53
阅读次数：
272
hadoop的生态圈：ETL数据的抽娶转换、加载1)安装hive1.解压#tarzvxfhive-0.13.0.tar.gz-C/usr/local#cd/usr/local#ln-sv/usr/local/hive-0.12.0/usr/local/hive2.替换jar包，保持hbase0.98与hadoop1.2一致#cd/usr/hive/lib#rm-rfhbase-0.94*#find/usr/hbase/lib-name"hbase*.ja..
分类：
其他好文 时间：
2015-08-27 19:18:59
阅读次数：
415
早上检查报警邮件时发现又是1000+的报警,于是查找凶手...最终找到了罪魁祸首,一个ETL查询从晚上10点开始跑到凌晨1点50,好家伙足足跑了3小时50分钟,阻塞了一片一片的JOB:SELECT ****FROM AINNER JOIN ( SELECT XXX,A.END_DATE_REP...
分类：
其他好文 时间：
2015-08-19 19:42:55
阅读次数：
113
屏幕的尺寸（厘米）、屏幕分辨率（像素）、PPI它们之间是什么关系？添加评论 分享赞同2反对，不会显示你的姓名知乎用户，数据ETL，UNITY3D刘大侠、如果 赞同以iphone4 为例，分辨率960*640，屏幕3.5英寸（这个指的是对角线长度），换算成厘米为8.89cm；PPI = = 326；参...
分类：
其他好文 时间：
2015-08-16 09:20:45
阅读次数：
151
1，关于hiveHive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与 Pig 有相似之处，但它有一些Pig目前还不支持的机制，比如：更丰富的类型系统、更类...
分类：
其他好文 时间：
2015-08-14 19:16:06
阅读次数：
140
数据仓库的数据量一般是非常巨大的，我们需要每天都备份吗？这一点我至今还是不懂，只是感觉数据仓库最起码是从生产库流过来的数据没必要做完完全全的备份，但是备份还是需要的，比如我们的ETL流程如下1：环境了解环境：SQLServer2008R2数据仓库的抽取过程如下图像分析：生产库→ods：采用的是SSI...
分类：
其他好文 时间：
2015-08-13 17:47:42
阅读次数：
291
在项目的开发中，备份是一个很重要的操作和良好的开发习惯，下面我们就针对BI相关项目的备份说一下备份策略前端：Cognos后端：SSIS+View+Procedure服务器A装了Cognos内容库，Cognos 相关组件服务器B部署了DW和ETL下面我们就来说一说备份步骤1：备份Cognos相关内容C...
分类：
其他好文 时间：
2015-08-13 17:30:46
阅读次数：
168
本篇文章是Integration Services系列的第一篇，详细内容请参考原文。Integration Services是一种在SQL Server中最受欢迎的子系统。允许你在各种数据源之间提取、转换和加载(ETL)数据，以任何你能想到的编程方式更改数据。你可以用SSIS做下面操作：->执行ET...
分类：
其他好文 时间：
2015-08-11 23:02:39
阅读次数：
268
1.数据库版本2.具体procedureDROP PROCEDURE DB2USER.TOOLS_PARTITION_TABLE_SHOW (VARCHAR ());CREATE OR REPLACE PROCEDURE Tools_partition_table_show(IN ETL_DATE ...
分类：
数据库 时间：
2015-08-10 21:46:43
阅读次数：
250
1.Hive 官方网址：http://hive.apache.org/ Ø 什么是Hive？（***了解***） l Hive 是建立在 Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据...
分类：
其他好文 时间：
2015-08-08 12:03:16
阅读次数：
296
