三、Impala OLAP实例 本节使用前面销售订单的例子说明如何使用Impala做OLAP类型的查询,以及实际遇到的问题及解决方案。为了处理SCD和行级更新,我们前面的ETL使用了Hi...
分类:
其他好文 时间:
2016-08-26 09:12:56
阅读次数:
263
二、Hive、Spark SQL、Impala比较 Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案,但又各有特点。前面已经讨论了...
分类:
其他好文 时间:
2016-08-25 21:42:57
阅读次数:
166
OLTP:联机事务处理,表示事务多,但执行大多较短,并发量大的数据库,如日常的进销存操作等; OLAP: 联机分析处理,表示事务较少,但执行大多较长,并发量较小的数据库,如基于数据仓库的操作; OLTP 系统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,强调并发操作;OLAP 系统则强 ...
分类:
其他好文 时间:
2016-08-21 00:37:47
阅读次数:
397
场景5 Performance Management 性能调优(不能重启数据库) 索引 资源管理器 性能优化 统计分析 SQL性能分析 SPM (SQL执行计划管理) 堆表 :数据存储无序 位图索引 :适合字段重复值高的,数据仓库环境下(适合OLAP/DSS环境),存储占用空间少, DML成本高, ...
分类:
其他好文 时间:
2016-08-10 09:56:38
阅读次数:
211
场景3 Data Management 数据管理 性能优化 OLTP OLAP 物化视图 :表的快照 传输表空间 :异构平台的数据迁移 星型转换 :事实表 OLTP : 在线事务处理 1. transaction —> DML 2. 数据量小 3. 处理时间短 —> SQL 共享,绑定变量 4. 并 ...
分类:
其他好文 时间:
2016-08-10 09:53:06
阅读次数:
188
打开 Database Configuration Assistant 下一步 选择"高级模式" 下一步 选择创建数据库的类型(一般选择"数据仓库")(一般用途或事务处理:即OLTP(联机事务处理)。一般数据量小,DML频繁。 数据仓库:即OLAP,数据量大,DML少关键你的数据是OLTP还是OLA... ...
分类:
数据库 时间:
2016-08-07 23:04:03
阅读次数:
273
spark presto2.0计算引擎 这几个框架都是OLAP大数据分析比较常见的框架,各自特点如下:presto:facebook开源的一个java写的分布式数据查询框架,原生集成了Hive、Hbase和关系型数据库,Presto背后所使用的执行模式与Hive有根本的不同,它没有使用MapRedu ...
分类:
其他好文 时间:
2016-08-06 20:21:22
阅读次数:
166
在Oracle数据库系统中,很多人没有弄清楚自己的业务类型到底是什么,就在开始盲目的寻求优化方法,而往往是把OLAP的方法使用在OLTP上,或者是OLTP的方法使用在OLAP上。这样的使用,有的时候,对性能没有任何的提高,甚至是大大的影响了性能,得到适得其反的效果。所以,在优化系统之前,弄清楚自己的 ...
分类:
其他好文 时间:
2016-07-25 09:26:17
阅读次数:
160
Oracle 两种优化模式
1.cbo cbo模式下 where字句对查询速度没有影响
2.rbo 在rbo下 会先执行索引。。
oltp 联机事务处理 指经常变更数据的系统。
olap 表数据分析 指数据不经常变的系统 只取数据做分析使用
子查询解决的问题:问题不能一步求解时 考虑使用子查询。。
子查询注意的问题:
...
分类:
数据库 时间:
2016-07-13 16:52:55
阅读次数:
214
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。 ...
分类:
其他好文 时间:
2016-07-12 11:51:15
阅读次数:
120