原文:https://www.jianshu.com/p/4e72b22edf49 1、数据仓库与数据库 数据仓库是数据库概念的升级,和数据库相比,数据仓库要比数据库更加庞大; 数据仓库主要用于分析数据,数据库主要用于捕获数据; 数据仓库主要存储历史数据,数据库存储在线交易数据; 数据仓库的基本元素 ...
分类:
其他好文 时间:
2020-04-21 18:09:21
阅读次数:
49
熵的求解公式: 例题: 熵表示为消除不确定性所需要的信息量,投掷均匀正六面体骰子的熵是()比特。 参考网址:http://blog.sina.com.cn/s/blog_5ebba6660101h6ez.html ...
分类:
其他好文 时间:
2020-04-19 22:15:02
阅读次数:
142
1. 概述 1.1 hive的特征: 可以通过SQL轻松访问数据的工具,从而实现数据仓库任务,如提取/转换/加载(ETL),报告和数据分析; 它可以使已经存储的数据结构化; 可以直接访问存储在Apache HDFS或其他数据存储系统(如Apache HBase)中的文件; Hive除了支持MapRe ...
分类:
其他好文 时间:
2020-04-19 19:49:32
阅读次数:
86
闲来岁月蹉跎、老骥伏枥、才数据处理这般静雅: ...
分类:
其他好文 时间:
2020-04-12 14:56:05
阅读次数:
80
一、数据仓库的设计基本思想 1. 数据仓库的特点:①面向主题②随时间变化而变化③数据集成④信息相对稳定 2. 数据仓库的技术要求:①数据模型设计②ETL设计③存储管理④报表设计 3. 常见设局仓库体系的架构 ①相关数据仓库的概念 元数据,商业智能,数据挖掘,联机处理分析(OLAP),维度,度量,聚合 ...
分类:
其他好文 时间:
2020-04-11 12:43:58
阅读次数:
67
近日,阿里云分析型数据库AnalyticDBforMySQL基础版上线,极大降低了用户构建数据仓库门槛,每月可低至860元。高度兼容MySQL,极低的使用成本和极高的性能,使中小企业也可以轻松的搭建一套实时数据仓库,实现企业数据价值在线化。线上直播传送门:https://yq.aliyun.com/live/2527体验AnalyticDBforMySQL基础版,限时优惠:新用户10元3个月,续费
分类:
数据库 时间:
2020-04-10 00:56:36
阅读次数:
94
数据仓库建设中的数据抽取环节,常常需要增量抽取业务库数据。但业务库数据不是一层不变的,会根据时间发生状态变更,那么就需要同步更新变化数据到HIVE中。过去在Oracle上做数据仓库时,可以使用merge的方法合并新老数据。但hive中没有该功能,本文旨在通过sqoop抽取后,自动实现数据合并。 表设 ...
分类:
数据库 时间:
2020-04-07 18:32:57
阅读次数:
99
1-数据仓库的基本特征 2-数据仓库和数据库的区别 3-数据仓库分层和元数据管理 4-Hive的基本介绍 ...
分类:
其他好文 时间:
2020-04-02 18:03:47
阅读次数:
52
一、数据仓库的概念: 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的 ...
分类:
其他好文 时间:
2020-03-31 14:45:16
阅读次数:
77
导读:首先你将通过这篇文章了解到ApacheDruid底层的数据存储方式。其次将知道为什么ApacheDruid兼具数据仓库,全文检索和时间序列的特点。最后将学习到一种优雅的底层数据文件结构。
分类:
Web程序 时间:
2020-03-30 16:41:52
阅读次数:
106