用于数据分析的 OLAP 系统的主要特点就是数据量非常大，并发访问不多，但每次访问所需要检索的数据量都比较多，而且数据访问相对较为集中，没有什么比较明显的活跃数据概念。 OLAP 即联机分析处理，是数据仓库的核心部心，所谓数据仓库是对于大量已经由 OLTP 形成的数据的一种分析型的数据库，用于处理商 ...
分类：
其他好文 时间：
2020-03-28 19:52:06
阅读次数：
71
1、什么是数据仓库？ 数据仓库是一种信息系统的数据存储理论，此理论强调利用某些特殊数据存储方式，让所包含的数据，特别有利于分析处理，以产生有价值的信息并依此作决策。 利用数据仓库方式所存放的数据，具有一但存入，便不随时间而更动的特性，同时存入的数据必定包含时间属性，通常一个数据仓库皆会含有大量的历史 ...
分类：
其他好文 时间：
2020-03-28 16:26:25
阅读次数：
98
首先先简单介绍下hive： Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。 核心架构： Hive官网地址 http:// ...
分类：
其他好文 时间：
2020-03-26 01:39:24
阅读次数：
93
第十八章 使用MariaDB数据库管理系统 数据库管理系统 数据库指按照某些特定结构来存储数据资料的数据仓库。 数据库管理系统是一种能够对数据库中存放的数据进行建立、修改、删除、查找、维护等操作的软件程序。它通过把计算机中具体的物理数据转换成适合用户理解的抽象逻辑数据，有效地降低数据库管理的技术门槛 ...
分类：
其他好文 时间：
2020-03-25 21:44:15
阅读次数：
66
hive 优化 1、需要计算的指标真的需要从数据仓库的公共明细自行汇总吗？2、真的需要扫描那么多的分区么？3、尽量不要使用 select * from table这样的方式4、输入文件不要是大量的小文件 group by引起的倾斜优化: R:group by引起的倾斜主要是输入数据行按照group ...
分类：
数据库 时间：
2020-03-25 19:41:04
阅读次数：
90
1、什么是数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 2、数据仓库的特点 ...
分类：
其他好文 时间：
2020-03-24 15:56:15
阅读次数：
102
前面《报表自动化: 打开数据仓库的大门》提到了数仓分为了多个层次，其中 DW 层有多种建模方式，本文主要讲 维度建模 的方法，当然相关理论文章很多很多了，这篇文章主要是为了串一下流程，并不会详细的展开每一步的细节。 度量值 再开始聊维度之前，先让我们理解一下“度量”这个关键词，到底什么是度量？具体定 ...
分类：
其他好文 时间：
2020-03-20 22:06:16
阅读次数：
56
上文《报表自动化: 商业智能背后的秘密》主要讲了我认为的如何逐步做到商业智能，通过报表自动化、数据图表化、数据可视化、数据挖掘四步走的方式，逐步的让数据产生价值。 我们主要讲报表自动化，但在这之前我们需要有“大量的数据”支持，多次提到“大量的数据”，这些数据就是指我们各种产品在使用、运行过程中存到数 ...
分类：
其他好文 时间：
2020-03-20 22:03:08
阅读次数：
73
商业智能与报表自动化 首先先说说商业智能与报表自动化。 商业智能是（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。（百度百科） 报表自动化呢？是指将传统的人工整理报表（exc ...
分类：
其他好文 时间：
2020-03-20 22:02:37
阅读次数：
90
总结一下大数据开发基本常识： JDK（做java开发必备的开发工具包） Hadoop（Apache开发的分布式系统的基础框架）三大组件：MapReduce，Yarn，Hdfs Sqoop（数据迁移，清洗） Kettle（数据清洗，格式转换） Hive（基于Hadoop的数据仓库，并不是数据库，需要安 ...
分类：
系统相关 时间：
2020-03-15 22:17:01
阅读次数：
90
