第一,没有工作经验,这个代表着我不知道怎么去进行工作,但是这个问题的根本就是我不一定不知道怎么去做,我如果能够展示出来我能够做好这个工作,那么应该是可以的,首先这个ETL代表着对数据的处理,处理涉及到数据,数据存放在数据库中,数据库分为事务型和分析性两种方向,两个数据库..
分类：
其他好文 时间：
2016-08-10 23:12:29
阅读次数：
255
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端管理工具。 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客户端管理已经很难完成了。我所知道 ...
分类：
其他好文 时间：
2016-08-05 08:54:25
阅读次数：
463
下面配置的是两个队列default和etl，default队列分配20%的处理能力,etl队列分配80%的处理能力,用户dba只能向default队列提交作业，用户etl只能向etl队列提交作业，dba用户组只能向default队列提交任务：yarn.scheduler.capacity.maximum-am-resource-percent=0.2--AM可以占用资..
分类：
其他好文 时间：
2016-07-20 13:40:49
阅读次数：
2458
三、使用Oozie定期自动执行ETL1. Oozie简介（1）Oozie是什么 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，其工作流作业是由一系列动作构成的有向无环图（DAGs），协调器作业是按时间频率周期性触发的Oozie工作流作业。Oozie支持的作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive...
分类：
其他好文 时间：
2016-07-11 17:14:40
阅读次数：
237
一、使用Sqoop抽取数据
1. Sqoop简介
Sqoop是一个在Hadoop与结构化数据存储（如关系数据库）之间高效传输大批量数据的工具。它在2012年3月被成功孵化，现在已是Apache的顶级项目。Sqoop有Sqoop1和Sqoop2两代，Sqoop1最后的稳定版本是1.4.6，Sqoop2最后版本是1.99.6。需要注意的是，1.99.6与1.4.6并不兼容，而且截止...
分类：
其他好文 时间：
2016-07-03 19:46:17
阅读次数：
305
HDFS：分布式文件系统 MapReduce：分布式计算框架 Sqoop：数据库ETL工具 Flume：日志收集工具 Mahout：数据挖掘库 Hive：数据仓库 Pig：数据流处理 HBase：实时分布式数据库 Zookeeper：分布式协作服务 ...
分类：
其他好文 时间：
2016-07-01 20:14:23
阅读次数：
166
Kettle Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle是一款国外开源的ETL工具，纯java ...
分类：
其他好文 时间：
2016-07-01 13:26:43
阅读次数：
168
ETL工具之ODI 到目前为止，Oracle的ETL工具包括两种，分别是Oracle Warehouse Builder（OWB）和Oracle Data Integrator（ODI）。前者是Oracle自己开发的工具，将在以后介绍。本章先介绍ODI，这个产品的前身是Sunopsis Active ...
分类：
其他好文 时间：
2016-07-01 13:17:26
阅读次数：
184
http://www.oschina.net/project/tag/453/etl 开源ETL工具 Kettle Talend KETL CloverETL Apatar Scriptella ETL Octopus ETL调度技术平台 TASKCTL ETL工具 Talend Open Stud ...
分类：
其他好文 时间：
2016-07-01 06:43:06
阅读次数：
474
三、建立数据仓库示例模型
Hadoop及其相关服务安装配置好后，下面用一个小而完整的示例说明多维模型及其相关ETL技术在Hadoop上的具体实现。
1. 设计ERD
操作型系统是一个销售订单系统，初始时只有产品、客户、订单三个表，ERD如下图所示。
多维数据仓库包含有一个销售订单事实表，产品、客户、订单、日期四个维度表，ERD如下...
分类：
其他好文 时间：
2016-06-29 19:11:04
阅读次数：
432
