数据仓库的出现,并不是取代数据库。 数据库是面向事务的设计,数据仓库是面向主题设计的。 数据库一般存储业务数据,数据仓库存储的一般是历史数据。 数据库是为了捕获数据而设计,数据仓库是为了分析数据而设计。 数据库设计是尽量避免冗余,一般针对某一业务应用设计。 数据仓库,狮子啊数据库已经大量存在的情况下 ...
分类:
数据库 时间:
2019-10-23 19:45:20
阅读次数:
99
数据层的存储一般如下: Data Source 数据源一般是业务库和埋点,当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。 ODS 层 ODS 的数据量一般非常大,所以大多数公司会选择存在HDFS上,即Hive或者Hbase,Hive居多。 可将O ...
分类:
其他好文 时间:
2019-10-22 13:07:13
阅读次数:
124
http://km.ciozj.com/Detail.Aspx?AI=98315&CI=2 数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中心、数据仓库等积累之后,借助平台化的思路,将数据更好地进行整合与统一,以组件化的方式实现灵活 Part.1 马蜂窝数据仓 ...
分类:
其他好文 时间:
2019-10-20 11:21:00
阅读次数:
103
http://km.ciozj.com/Detail.Aspx?AI=98314&CI=2 随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等,这些概念特别容易混淆,本文对这些名 ...
分类:
其他好文 时间:
2019-10-20 11:11:34
阅读次数:
95
人工智能如何影响云计算的发展! 如今,云计算不仅仅是一个数据仓库,还是一个“智能仓库”。机器学习和云计算可以一起从信息中保存、分析和学习,并将其传递给其他服务器或云平台,以帮助框架信息和响应支持的决策。 云计算一直是一个伟大的技术,正在改变组织的工作方式、存储信息,并改变决策,为技术创新和分析研究铺 ...
分类:
其他好文 时间:
2019-10-19 00:36:41
阅读次数:
123
我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapRedu ...
分类:
其他好文 时间:
2019-10-16 09:56:12
阅读次数:
101
ODS (操作数据存储) 操作数据存储ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分,也被称为贴源层。ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。 操作数据存储ODS(Operation ...
分类:
其他好文 时间:
2019-10-14 15:03:28
阅读次数:
119
原文链接:https://www.jianshu.com/p/72e395d8cb33 今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构 ...
分类:
其他好文 时间:
2019-10-14 14:54:56
阅读次数:
135
1 Kylin是什么 今天,随着移动互联网、物联网、AI等技术的快速兴起,数据成为了所有这些技术背后最重要,也是最有价值的“资产”。如何从数据中获得有价值的信息?这个问题驱动了相关技术的发展,从最初的基于文件的检索、分析程序,到数据仓库理念的诞生,再到基于数据库的商业智能分析。而现在,这一问题已经变 ...
分类:
Web程序 时间:
2019-10-14 14:27:08
阅读次数:
78
一、马蜂窝数据仓库与数据中台 最近几年,数据中台概念的热度一直不减。2018 年起,马蜂窝也开始了自己的数据中台探索之路。 数据中台到底是什么?要不要建?和数据仓库有什么本质的区别?相信很多企业都在关注这些问题。 我认为数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历 ...
分类:
其他好文 时间:
2019-10-08 15:51:37
阅读次数:
1113