一、Hadoop概述 1、Hadoop名字是由Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名,Hadoop是Apache开源的分布式存储+分布式计算平台。Hadoop能搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务,如搜索引擎、日志分析、商业智能、数据挖掘 2、狭义Ha ...
分类:
其他好文 时间:
2019-12-16 19:22:48
阅读次数:
100
主要的需求 针对大体量表的OLAP统计查询,需要找到一个稳定,高性能的大数据数据库,具体使用 数据可以实时的写入和查询,并发的tps不是很高 建立数据仓库,模式上主要采用星星模型、雪花模型,或者宽表 前端展示 分为3类 saiku、granafa、c#代码开发 数据体量:事实表在3-5亿、维度表大的 ...
分类:
数据库 时间:
2019-12-15 21:51:14
阅读次数:
704
BW扩展星型结构和传统的星型结构相比有哪些优势? 回答:标准星型模型是数据仓库中一种常用的组织信息和数据的多维数据模型。它由中心的一个事实表(Fact Table)和一些围绕它的维度表(Dimensional Table)组成。SAP BW星型模型 SAP在标准星型模型基础上做了一些改进,将维度表中 ...
分类:
其他好文 时间:
2019-12-15 16:17:44
阅读次数:
165
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库,可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类:
其他好文 时间:
2019-12-14 15:36:27
阅读次数:
95
什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计;Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射 成一张表,并提供类SQL查询功能,底层计算引擎默认为Hadoop的MapReduce(本质是将sql转化成mapreduce程序),可以将引擎更 ...
分类:
其他好文 时间:
2019-12-14 15:25:15
阅读次数:
129
原文:数据仓库之抽取数据:通过openrowset执行存储过程 在做数据仓库时,最重... ...
分类:
其他好文 时间:
2019-12-11 00:23:31
阅读次数:
93
原文:数据仓库之抽取数据:openrowset函数带bulk操作符的用法 在做数据仓... ...
分类:
其他好文 时间:
2019-12-11 00:17:17
阅读次数:
119
原文:数据仓库之抽取数据:通过bcp命令行导入数据 在做数据仓库时,最重要的就是ET... ...
分类:
其他好文 时间:
2019-12-11 00:08:41
阅读次数:
93
面向业务的数据库常叫 OLTP(on-line transaction processing)面向 分析的数据仓库常叫OLAP(On-Line Analytical Processing),区别见 : https://www.cnblogs.com/hongfeng2019/p/12004551.h ...
分类:
其他好文 时间:
2019-12-08 10:49:14
阅读次数:
97
1、Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析和管理;(也就是说对存储在HDFS中的数据进行分析和管理,我们不想使用手工,我们建立一个工具把,那么这个工具就可以是hive) 2、 hive建表语法中的分隔符设定ROW FORMAT DELIMITED ...
分类:
其他好文 时间:
2019-12-04 10:35:57
阅读次数:
88