什么是Hive ? Hive是构建在hadoop HDFS上的一个数据仓库; Hive的表/数据 就是HDFS中目录/文件 数据仓库: 是一个面向主题的、集合的、不可更新的、随时间不变化的数据集合; 主要是用于支持企业或组织的决策分析处理 数据仓库的结构和建立过程 抽取E:把数据源的数据按照一定的方 ...
分类:
其他好文 时间:
2019-09-02 12:17:54
阅读次数:
81
数据仓库架构理论和实践,数据仓库建模指南 背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据。在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说,从MySQL等关系型数据 ...
分类:
其他好文 时间:
2019-09-01 23:53:18
阅读次数:
193
0901自我总结 Vue CLI项目vuex仓库 一.概念 vuex仓库是vue全局的数据仓库,好比一个单例,在任何组件中通过this.$store来共享这个仓库中的数据,完成跨组件间的信息交互。 vuex仓库中的数据,会在浏览器刷新后重置 二.使用 仓库共享数据的获取与修改 : 在任何组件的逻辑中 ...
分类:
其他好文 时间:
2019-09-01 18:24:36
阅读次数:
122
目前市面上的BI工具都在提及敏捷BI解决方案。敏捷BI解决方案所提供的自动化技术支持主要是从数据源取数到BI前端工具展现。这样的敏捷BI解决方案在企业数据量不是很庞大的情况下,还是很好的支撑运行。PowerBI可以支持大量的数据处理,但是对于硬件设备的要求也是非常高的。但是数据量变得越来越庞大就会导 ...
分类:
其他好文 时间:
2019-09-01 18:17:07
阅读次数:
85
主数据管理(MDM Master Data Management)描述了一组规程、技术和解决方案,这些规程、技术和解决方案用于为所有利益相关方(如用户、应用程序、数据仓库、流程以及贸易伙伴)创建并维护业务数据的一致性、完整性、相关性和精确性。 1、 中文名:主数据管理外文名:MDM Master D ...
分类:
数据库 时间:
2019-08-31 10:28:31
阅读次数:
173
数据仓库是否也需要上云?如果考虑上云,都需要注意哪些方面?目前主流云厂商产品又有何特点呢?本文将一一解答。
分类:
其他好文 时间:
2019-08-29 15:36:33
阅读次数:
72
数据仓库是否也需要上云?如果考虑上云,都需要注意哪些方面?目前主流云厂商产品又有何特点呢?本文将一一解答。 ...
分类:
其他好文 时间:
2019-08-29 11:27:30
阅读次数:
73
a) 数据仓库(DW) 数据库 VS 仓库 数据库面向业务存储,仓库面向主题存储 数据库针对应用(OLTP),仓库针对分析(OLAP) 数据库组织规范,仓库可能有冗余,相对变化大,数据量大 b) 检测与抓取 c) 填写、埋点、日志 d) 计算 ...
分类:
其他好文 时间:
2019-08-27 21:04:45
阅读次数:
79
元数据(Meta Data),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。元数据是数据仓库 ...
分类:
其他好文 时间:
2019-08-25 19:58:52
阅读次数:
167
一.简介 Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算,兼顾数据仓库,具有实时、批处理、多并发的优点。是CDH平台首选的PB级大数据实时查询分析引擎。 二.优点 1.基于内存计算,能够对PB级别数据进行交互式实时查询、分析 ...
分类:
其他好文 时间:
2019-08-25 18:15:17
阅读次数:
76