在做ETL的时候，连接MySQL读取含有timestamp类型的表，出现如下错误： 经Google，据说是MySQL自身的问题。解决方法也很简单，在Spoon的数据库连接中，打开选项，加入一行命令参数： 如图所示： 问题解决。 转自： 《Pentaho Spoon (Kettle) 出现 Times ...
分类：
其他好文 时间：
2016-04-08 18:02:41
阅读次数：
278
Sqoop 关系DB与Hive/HDFS/HBase导入导出的Mapreduce框架。 http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.0/SqoopUserGuide.html ETL: Extraction-Transforma ...
分类：
其他好文 时间：
2016-04-05 15:35:01
阅读次数：
230
通过FME进行转换 FME(Feature Manipulate Engine,简称FME)是加拿大Safe Software公司开发的空间数据转换处理系统,它是完整的空间ETL解决方案。该方案基于OpenGIS组织提出的新的数据转换理念“语义转换”,通过提供在转换过程中重构数据的功能,实现了超过2 ...
最近，参与了公司的一个大数据接口平台的开发，具体的处理过程是这样的。我们公司负责数据的入库，也就是一个etl过程，使用MR将数据入到hive里面，然后同步到impala，然后此接口平台提供查询接口，前台会将sql语句以参数传过来，然后接口平台通过调用impala提供的java api接口，将数据查询出来返回给用户。另外，如果查询的数据量很大，那么前台就会传一个taskId过来，第一次只需将数据查询出...
分类：
其他好文 时间：
2016-04-01 18:51:13
阅读次数：
222
BIEE自身提供了几种缓存管理的方法，事件表或者是在物理层设置缓存的失效时间，又或者是调用SAPurgeAllCache()过程。
前两种方法都是被动的管理策略(事件表是定时轮询，失效时间是指定有效时长)，比较低效；个人更中意主动的缓存管理策略。即一旦数据发生变化就主动清理缓存。
最佳的作法就是在etl结束的时候通过调用API完成缓存的清理，要实现这种方式就需要调用BI Server提供的缓存...
分类：
数据库 时间：
2016-04-01 18:43:00
阅读次数：
329
一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据 ...
分类：
其他好文 时间：
2016-04-01 13:01:31
阅读次数：
146
转载自：http://www.cnblogs.com/ycdx2001/p/4538750.html 在领导说了尿不湿和啤酒的故事，这里看到原文了。 （1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新 ...
分类：
数据库 时间：
2016-03-30 17:56:50
阅读次数：
186
抛开市场上热火朝天的大数据不谈，只从解决实际业务问题方面来看，对数据的收集、分析、辅助决策已经得到越来越多的人重视，这里简单谈一些。一、数据处理篇1、数据收集简单来讲，可以把采集的每一条数据分为：事件、时间、来源、参数等几个基本元素。为了有一个直观的理解，可以参考下Sensors data，SLS（阿里云简单日志系统）这两个产品的设计。2、数据清洗这个主要是处理异常数据，不用多说。3、数据仓库ETL...
分类：
其他好文 时间：
2016-03-22 10:40:50
阅读次数：
179
1.需求 在数据清洗(ETL),日志文件分析，分隔符信息提取时，我们都会遇到如下常见的文本数据： 中楼层/14层,东西,西直门南大街 3号院,1985年建,板楼 中楼层/23层,南北,通惠南路6号,2003年建,板楼 中楼层/12层,南北,通惠南路6号 1号院,2003年建,塔楼- 一个常见的处理思
分类：
编程语言 时间：
2016-03-07 12:08:42
阅读次数：
247
原文地址：http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html 本系列文章主要索引如下： 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器Kettle实战应用解析系列二 【应
分类：
其他好文 时间：
2016-03-02 09:33:36
阅读次数：
160
