摘要: 本文来自北京润乾软件技术有限公司董事长蒋步星在清华大数据产业联合会的讲座。说到交互运算,我们先复习一下OLAP这个概念。这个词字面的意思是在线分析,但在线分析实际上是在做什么事呢?用户对发生的现象做出猜测基于历史数据计算以验证或证伪猜测根据计算结果修正猜测,重复此过程直到得出有益结论业务用户...
分类:
其他好文 时间:
2015-06-25 08:52:41
阅读次数:
96
在OLAP这类系统或者DW这类数据库中,作为某份报表的数据源,我们常常需要在某个存储过程中编写复杂的运算代码来汇总数据。分析函数便具备这样的能力,引用多行的数据值来进行多层面的聚合运算,在数据子集中进行颗粒度级别的排序控制.分析函数不能嵌套,但是可以通过用视图或者表函数封装然后再套上一层分析函数语法...
分类:
其他好文 时间:
2015-06-24 00:34:06
阅读次数:
127
以下是15个最受欢迎的Python开源框架。这些框架包括事件I/O,OLAP,Web开发,高性能网络通信,测试,爬虫等。Django: Python Web应用开发框架Django 应该是最出名的Python框架,GAE甚至Erlang都有框架受它影响。Django是走大而全的方向,它最出名的是其全...
分类:
编程语言 时间:
2015-06-19 23:06:33
阅读次数:
439
简介 ????????Apache Parquet 是一个列存储格式,主要用于 Hadoop 生态系统。对数据处理框架、数据模型和编程语言无关。Cloudera的大数据在线分析(OLAP)项目Impala中使用该格式作为列存储。 ?????...
分类:
其他好文 时间:
2015-06-17 11:45:57
阅读次数:
159
在生产环境中我们经常会遇到这种情况:前端的oltp业务很繁忙,但是需要对这些运营数据进行olap,为了不影响前端正常业务,所以需要将数据库进行读写分离。这里我将几种可以用来进行读写分离的方案总结一下,方案本身并无优劣可言,只看是否适合业务使用场景,所以只把几个方案的特点罗列出来,遇到具体的问题时按自...
分类:
数据库 时间:
2015-06-12 19:11:37
阅读次数:
165
说起来这个事情还是挺悲催的,记得上周忙的不亦乐乎,目标是修改之前另外一个团队留下来的一坨代码中的一些bug,这个项目是做OLAP分析的,分为两个模块,逻辑服务器主要负责一些元数据的操作,例如页面上展示的一些信息,而分析服务器负责执行查询语句,因为他们之前使用的是mondrian作为OLAP分析引擎,所以输入的查询是MDX语句,然后结果是一个二维的数据。这是基本的项目背景,当然使用mondrian的...
分类:
其他好文 时间:
2015-06-08 21:38:39
阅读次数:
257
四种BI 开源工具介绍-SpagoBI,openI,JasperSoft,Pentaho1 BI系统的简述从技术角度来说 BI 包含了 ETL、DW、OLAP、DM等多环节。简单的说就是把交易系统已经发生过的数据,通过ETL工具抽取到主题明确的数据仓库中,OLAP后生成Cube或报表,透过Porta...
分类:
Web程序 时间:
2015-06-02 17:19:14
阅读次数:
319
InnoDB引擎与MyISAM引擎区别.MyISAMInnoDB表级锁行级锁非事物安全事物安全性全文索引不支持全文索引OLAP联机分析处理OLTP联机事物处理SQL优化及合理使用索引1notin字句查询优化2模式匹配like‘%xxx%‘优化3limit分页优化4count(*)统计数据加速一count(辅助索引)快于count(*)二c..
分类:
数据库 时间:
2015-06-02 11:26:45
阅读次数:
150
InnoDB引擎与MyISAM引擎区别.MyISAMInnoDB表级锁行级锁非事物安全事物安全性全文索引不支持全文索引OLAP联机分析处理OLTP联机事物处理SQL优化及合理使用索引1notin字句查询优化2模式匹配like‘%xxx%‘优化3limit分页优化4count(*)统计数据加速一count(辅助索引)快于count(*)二c..
分类:
数据库 时间:
2015-06-02 06:58:19
阅读次数:
178